行政机关在发现其作出的行政行为存在违法或不当之处时，有权也有责任依据相关法律法规的规定，及时、主动地进行撤销或更正。以下是对此问题的详细分析：
一、法律依据
《中华人民共和国行政诉讼法》
- 第六十二条：诉讼程序中，被告改变其所作的行政行为且原告同意并申请撤诉的，需由人民法院裁定是否准许。此条款间接体现了行政机关有自行改变（包括撤销）行政行为的权力。
- 第七十条：明确列举了行政行为可被判决撤销或部分撤销的具体情形，如主要证据不足、适用法律错误、违反法定程序等。这些情形为行政机关自我审查并撤销违法行为提供了明确的法律依据。
《中华人民共和国行政复议法》
- 第二十五条：复议过程中，申请人可因行政机关主动撤销行政行为而撤回复议申请，表明行政机关在发现问题时有权撤销原行为。
- 第二十八条：详细规定了行政复议机关对行政行为进行审查后可能作出的决定，包括撤销、变更或确认违法，进一步强化了行政机关自我纠正错误的法律责任。
《中华人民共和国行政许可法》
- 第六十九条：具体列明了行政机关可以撤销行政许可的情形，如滥用职权、超越职权、违反法定程序等，并明确了撤销后的赔偿责任，为行政机关撤销行政许可提供了直接的法律依据。
《中华人民共和国行政处罚法》
- 虽然未直接规定行政机关可以自行撤销行政处罚，但根据行政法的一般原理，行政机关对于违法或不当的处罚决定有权进行纠正，包括撤销原有决定，以确保行政行为的合法性和合理性。
二、撤销的情形
行政机关撤销自己作出的行政行为，通常基于以下情形：
- 主要事实不清、证据不足：行政机关在作出行政行为时未充分调查取证，导致事实认定错误。
- 适用依据错误：如适用法律、法规或规章错误，或未正确适用有效的法律规范。
- 违反法定程序：包括未遵循法定的步骤、顺序、方式或时限等。
- 超越或滥用职权：行政机关行使了不属于其权限范围内的权力，或故意不恰当地行使职权。
- 明显不当：行政行为的内容显失公正，严重不合理。
三、撤销的程序
行政机关在撤销自己作出的行政行为时，应遵循以下程序：
- 立案调查：行政机关发现行政行为可能存在问题后，应进行立案调查，收集相关证据材料。
- 听取意见：在作出撤销决定前，应听取当事人的陈述和申辩，必要时可举行听证会。
- 作出决定：根据调查结果，依法作出是否撤销的决定，并制作书面决定书。
- 送达与执行：将撤销决定书送达当事人，并监督执行撤销后的相关事宜。
四、撤销的后果
- 行政行为自始无效：被撤销的行政行为从作出之日起即丧失法律效力。
- 恢复原状或赔偿损失：因撤销给当事人造成损失的，行政机关应依法给予赔偿或补偿。
- 后续处理：根据具体情况，行政机关可能需要重新作出行政行为或采取其他补救措施。
五、注意事项
- 时效限制：虽然法律未明确规定撤销权的行使期限，但行政机关应及时发现并纠正错误，避免久拖不决。
- 信赖利益保护原则：在撤销行政行为时，应考虑相对人的信赖利益，避免因撤销给相对人造成不必要的损失。
- 程序正当性：撤销程序应遵循公开、公正、公平的原则，保障当事人的合法权益。
总结来说，行政机关在发现其作出的行政行为存在违法或不当之处时，有权也有责任依据相关法律法规的规定进行撤销或更正。在实际操作中，行政机关应遵循法定程序，确保撤销行为的合法性和合理性，并加强内部监督机制，提高执法人员的法律素养和业务能力。如果您在行政纠纷领域有任何疑问或需要进一步的法律帮助，请随时向我咨询。