行政行为违法要承担责任的法律依据主要来源于《中华人民共和国行政诉讼法》和《中华人民共和国国家赔偿法》等相关法律法规。以下从不同角度为您详细分析：
一、行政行为违法的责任类型
撤销或部分撤销责任：
- 根据《中华人民共和国行政诉讼法》第七十条，行政行为有主要证据不足、适用法律、法规错误、违反法定程序、超越职权、滥用职权或明显不当等情形的，人民法院判决撤销或者部分撤销，并可以判决被告重新作出行政行为。这意味着，如果行政行为违法，首先面临的是被撤销或部分撤销的法律后果。
确认违法责任：
- 在某些情况下，如行政行为违法但不具有可撤销内容，或者撤销行政行为可能给国家利益、社会公共利益造成重大损害时，人民法院会判决确认该行政行为违法。这同样是对行政行为违法性的一种法律认定。
赔偿损失责任：
- 根据《中华人民共和国国家赔偿法》第二条，国家机关和国家机关工作人员行使职权，有本法规定的侵犯公民、法人和其他组织合法权益的情形，造成损害的，受害人有依照本法取得国家赔偿的权利。因此，如果行政行为违法并给公民、法人或其他组织造成损害，行政机关需要承担赔偿责任。
二、行政行为违法的具体情形及责任
主要证据不足：
- 如果行政机关在作出行政行为时，所依据的主要证据不足，那么该行政行为可能被视为违法。在此情况下，行政机关可能需要承担撤销或部分撤销行政行为的责任，并可能面临赔偿损失的责任。
适用法律、法规错误：
- 行政机关在作出行政行为时，必须正确适用相关的法律、法规。如果适用错误，该行政行为同样可能被视为违法。行政机关需要承担相应的法律责任，包括撤销或部分撤销行政行为，并可能赔偿因此造成的损失。
违反法定程序：
- 行政机关在作出行政行为时，必须遵循法定的程序。如果违反程序规定，如未听取当事人陈述申辩、未进行必要的调查取证等，该行政行为可能被视为违法。行政机关需要承担撤销或部分撤销行政行为的责任，并可能因程序违法给当事人造成损失而承担赔偿责任。
超越职权或滥用职权：
- 行政机关必须在其法定职权范围内行使权力。如果超越职权或滥用职权作出行政行为，该行为将被视为违法。行政机关需要承担撤销或部分撤销行政行为的责任，并可能因超越职权或滥用职权给当事人造成损失而承担赔偿责任。
三、实际案例与法律建议
实际案例：假设某行政机关在未进行充分调查取证的情况下，就作出了对某企业的处罚决定。该企业认为该处罚决定违法，遂向人民法院提起行政诉讼。人民法院经审理认为，该行政机关在作出处罚决定时，未遵循法定程序，未充分听取企业的陈述申辩，因此判决撤销该处罚决定，并责令行政机关重新作出行政行为。同时，如果该处罚决定给企业造成了损失，企业还可以依据《中华人民共和国国家赔偿法》的规定，要求行政机关承担赔偿责任。
法律建议：对于行政机关而言，要确保行政行为的合法性，必须严格遵守法律、法规的规定，遵循法定程序，充分听取当事人的陈述申辩，确保主要证据充分、适用法律正确。对于公民、法人或其他组织而言，如果认为行政行为违法并给自己造成了损失，可以依法向人民法院提起行政诉讼，要求撤销或部分撤销违法行政行为，并要求行政机关承担赔偿责任。
如果您在行政行为违法责任方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。