当行政机关违法行使职权时，国家会依据一系列法律法规和制度设计来确保公民、法人和其他组织的合法权益得到保障，并对违法行政机关及其工作人员进行相应的处理。以下是对这一问题的详细解答：

一、国家赔偿责任

构成条件：

1. 违法行为：行政机关及其工作人员必须实施了违反法律法规的行为。这是国家赔偿责任的前提，强调行为的违法性。
2. 损害事实：存在公民、法人或其他组织的合法权益受到实际损害的事实。没有损害，就没有赔偿的基础。
3. 因果关系：违法行为与损害事实之间必须存在直接的因果关系。即损害是由行政机关的违法行为直接导致的。

法律依据与赔偿范围：

根据《国家赔偿法》的相关规定，行政机关违法行使职权侵犯公民、法人和其他组织的合法权益造成损害的，受害人有取得国家赔偿的权利。赔偿范围广泛，包括人身权和财产权所遭受的损害，如财产损失、人身伤害赔偿等。

赔偿义务机关：

1. 一般情况下，实施违法行为的行政机关为赔偿义务机关。
2. 若两个以上行政机关共同行使职权时侵犯合法权益造成损害，则共同行使职权的行政机关为共同赔偿义务机关。
3. 法律、法规授权的组织在行使授予的行政权力时侵犯合法权益造成损害的，被授权的组织为赔偿义务机关。

二、赔偿程序与相关责任

赔偿程序：

被侵害人有权向侵权的行政机关申请赔偿。如果侵权的行政机关不予赔偿或者赔偿数额偏低，被侵害人可以依法提起行政赔偿诉讼，通过法律途径维护自己的合法权益。

相关责任：

1. 行政处分：行政机关违法行使职权，由上级行政机关或者有关部门责令改正，并可对直接负责的主管人员和其他直接责任人员依法给予行政处分。这有助于维护行政机关的内部纪律和公信力。
2. 刑事责任：若国家机关工作人员在行使职权时，侵犯他人人身、财产权利构成犯罪的，应依法追究刑事责任。这体现了法律对严重违法行为的严厉制裁。

三、纠正错误与公开道歉

纠正错误：

行政机关在发现其违法行为后，应及时纠正，并采取措施防止类似事件再次发生。例如，撤销违法的行政决定、恢复受害人的合法权益等。

公开道歉与整改：

在某些情况下，行政机关可能需要向受害人或公众公开道歉，并承诺采取措施进行整改。这有助于增强行政机关的透明度和公信力，展示其改正错误的决心和行动。

四、法律依据与保障

除了《国家赔偿法》外，《中华人民共和国行政诉讼法》、《中华人民共和国行政处罚法》、《中华人民共和国行政许可法》等相关法律法规也对行政机关的职权行使进行了规范，为受害人提供了法律保障和维权途径。

综上所述，当行政机关违法行使职权时，国家会通过一系列制度设计和法律法规来确保公民、法人和其他组织的合法权益得到保障，并对违法行政机关及其工作人员进行相应的处理。这一制度设计不仅体现了法律的严肃性和公正性，也促使行政机关更加谨慎、依法行使职权。