复议机关在发现其作出的复议决定存在错误时，确实有权进行撤销或纠正。这一结论主要基于《中华人民共和国行政复议法》及相关司法解释的规定，以下是对此问题的详细分析：
一、可撤销或纠正的情形
主要事实不清、证据不足：
- 如果复议机关在作出决定时，所依据的主要事实不清楚或者证据不充分，那么该复议决定就可能因缺乏事实基础而被撤销或纠正。例如，复议机关在未充分调查取证的情况下就作出了对申请人不利的决定，这种决定就可能因证据不足而被撤销。
适用依据错误：
- 复议机关在作出决定时，如果适用了错误的法律依据，如适用了已经废止或失效的法律条文，或者将法律条文适用于与其不相符的事实情况，那么该复议决定就可能因适用法律错误而被撤销或纠正。
违反法定程序：
- 行政复议必须遵循法定的程序进行，包括受理申请、审查材料、听取意见、作出决定等环节。如果复议机关在复议过程中违反了这些法定程序，如未依法通知申请人参加听证会，或者未在规定期限内作出复议决定等，那么该复议决定就可能因程序违法而被撤销或纠正。
超越职权或滥用职权：
- 复议机关必须在法律规定的权限范围内行使职权，不得超越其职权范围作出决定。同时，复议机关也不得滥用职权，如以权谋私、偏袒一方等。如果复议机关的行为超出了其职权范围或者滥用了职权，那么该复议决定就可能因此而被撤销或纠正。
具体行政行为明显不当：
- 虽然“具体行政行为明显不当”并非直接作为撤销复议决定的法定理由，但在实践中，如果复议机关维持了明显不当的具体行政行为（如处罚过重或过轻），且该行为本身存在合理性问题，上级行政机关或法院在监督过程中可能会基于合理性原则要求重新审查或直接纠正，间接导致原复议决定失去效力。
二、撤销或纠正的程序与途径
复议机关自行撤销或纠正：
- 复议机关在发现其作出的复议决定存在上述问题时，可以自行启动撤销或纠正程序。这通常涉及内部监督部门或相关负责人的审查，确认错误后作出撤销或纠正决定，并送达给相关当事人。
通过行政诉讼撤销或纠正：
- 公民、法人或其他组织对复议决定不服的，可以在法定期限内向人民法院提起行政诉讼。法院在审理过程中，如果发现复议决定存在违法或不当之处，将依法判决撤销或部分撤销该决定，并可责令复议机关重新作出行政行为。
上级行政机关撤销或纠正：
- 上级行政机关对下级行政机关的行政行为进行监督时，如果发现复议决定违法或不当，可以依职权撤销或纠正该决定。这通常涉及上级行政机关的执法监督检查、群众举报等途径，经调查核实后作出撤销或纠正决定，并责令原复议机关重新处理。
三、后续处理与救济途径
- 重新作出决定：复议决定被撤销或纠正后，原复议机关或指定机关应依法重新作出复议决定。
- 提起诉讼：若当事人对撤销或纠正决定不服，或认为重新作出的复议决定仍存在问题，可依法向人民法院提起行政诉讼，通过司法途径维护合法权益。
总结来说，复议机关在发现其作出的复议决定存在错误时，确实有权进行撤销或纠正。这一机制确保了行政复议制度的公正性和有效性，也保护了当事人的合法权益。如果您在行政复议过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。