行政责任的承担方式确实因责任主体的不同而有所区别，主要分为行政主体及其公务员承担的行政责任和行政相对人承担的行政责任两大类。以下是对这两类责任承担方式的详细阐述：
行政主体及其公务员承担的行政责任
通报批评：
- 行政主体或其公务员因违法或不当行为受到上级行政机关或监察机关的书面或公开批评，旨在警示和教育，维护行政活动的合法性和公正性。
赔礼道歉、承认错误：
- 当行政主体侵犯相对人合法权益时，需以公开或正式方式向相对人赔礼道歉，承认错误，以修复受损关系，体现对相对人权益的尊重。
恢复名誉、消除影响：
- 若行政行为损害相对人的名誉权、荣誉权等，行政主体应采取措施恢复名誉，消除不良影响，如发布公告、声明等澄清事实。
返还权益、恢复原状：
- 对于违法剥夺的权益，行政主体应返还；对于造成的财产损害且有恢复可能的，应负责恢复原状，确保相对人的合法权益得到恢复。
停止违法行为：
- 适用于正在实施的违法行政行为，有权机关可责令行政主体立即停止，以防止损害后果扩大，保护相对人和社会公共利益。
撤销违法的行政行为：
- 当行政行为存在违法情形时，行政主体应撤销该行为，使其自始不具有法律效力，消除对相对人和社会秩序的不良影响。
履行职务：
- 当行政主体不履行或拖延履行法定职责时，有权机关可责令其限期履行，以保障相对人权益和社会公共利益不受损害。
纠正不当：
- 对于合法但不合理、不适当的行政行为，有权机关可责令行政主体纠正，确保其行为符合合理性原则和公共利益要求。
行政赔偿：
- 当行政主体及其工作人员违法行使职权造成损害时，应依法给予相对人相应的赔偿，包括支付赔偿金、返还财产、恢复原状等方式。
公务员特定责任：
- 公务员个人还可能面临通报批评、赔礼道歉、退赔、停止违法行为、经济制裁、赔偿损失、行政处分（如警告、记过、撤职等）以及罢免等责任。
行政相对人承担的行政责任
承认错误、赔礼道歉：
- 行政相对人违反行政法律规范后，应向行政主体承认错误并赔礼道歉，以培养法律意识，促进和谐社会关系的构建。
接受行政处罚：
- 包括警告、罚款、没收违法所得、责令停产停业、暂扣或吊销许可证/执照、行政拘留等，以及法律、行政法规规定的其他处罚，旨在惩罚违法行为，维护社会秩序。
履行法定义务：
- 如未履行行政法律规范规定的义务，行政机关可责令其履行，如纳税义务、环保义务等，确保行政法律规范的得到有效执行。
恢复原状、返还财物：
- 对于造成的损害后果，行政相对人需将受损害物品或设施恢复到原状，返还非法占有的财物，以恢复受损的社会关系和公共利益。
赔偿损失：
- 因违法行为造成他人损失时，行政相对人需承担赔偿责任，以弥补受害人的损失，维护社会公平正义。
外国人特殊责任：
- 外国公民和组织在我国境内活动时，如违反行政管理义务，也需承担行政责任，包括限期离境、驱逐出境、禁止入境等特殊方式，以维护国家主权和利益。
综上所述，行政责任的承担方式多样且具体，旨在全面修复受损权益，纠正违法行为，并维护法律秩序和政府公信力。各责任主体应根据实际情况选择恰当的责任形式，并确保其得到有效执行。