退休公职人员犯罪后，其退休待遇的取消或调整主要由原发给退休费的单位负责，具体依据相关法律法规执行。以下是对此问题的详细分析：

一、退休待遇调整与取消的基本原则

1. 被判处管制、拘役、有期徒刑（缓刑）的：

   • 在刑罚执行或缓刑考验期间，退休公职人员的退休费待遇将被停发，改为按本人原基本退休费的60%计发生活费。
   • 刑罚执行完毕或缓刑考验期满不再执行原判刑罚的，其基本退休费将降低一定比例（具体比例依据公务员或事业单位工作人员的相关规定执行），补贴也将按相应职务层次确定。若情节严重，退休待遇可能会被进一步调整或取消。

2. 被判处有期徒刑以上刑罚的：

   • 从人民法院判决生效之日起，退休公职人员的原退休费待遇将被取消。
   • 刑罚执行完毕后的生活待遇，由原发给退休费的单位酌情处理，这通常意味着退休待遇的取消或大幅降低。

二、特殊情况下的待遇处理

• 经过再审被宣告无罪或免予刑事处罚的：
  • 如果退休公职人员退休后受到刑事处罚，但后经再审被宣告无罪或免予刑事处罚，并且不再追究其政纪责任，那么从再审宣告无罪或免予刑事处罚的次月起，其退休费待遇将得以恢复。
  • 对于原判期间和刑罚执行完毕至再审宣告无罪或免予刑事处罚期间被停发的退休费，单位会进行补发。

三、负责取消退休待遇的单位

• 原发给退休费的单位：这是负责取消或调整退休公职人员退休待遇的主要单位。在公职人员被刑事处罚后，该单位将依据相关法律法规和政策，对其退休待遇进行相应调整或取消。

四、法律依据与适用范围

• 上述处理方式主要依据《行政机关公务员处分条例》以及《中共中央组织部、人力资源和社会保障部、监察部、国家公务员局关于公务员被采取强制措施和受行政刑事处罚工资待遇处理有关问题的通知》等相关法律法规。
• 这些规定适用于所有公职人员，包括公务员、事业单位工作人员、机关工人等。对于企业中由政府有关部门任命的人员，也参照公务员相关规定执行。

五、结论与建议

• 结论：退休公职人员犯罪后，其退休待遇的取消或调整主要由原发给退休费的单位负责，具体依据相关法律法规执行。如果犯罪情节严重，被判处有期徒刑以上刑罚，退休待遇很可能会被取消。
• 建议：作为公职人员，应当严格遵守法律法规，珍惜自己的职业生涯和退休待遇。一旦涉及违法犯罪行为，不仅可能面临刑事处罚，还可能导致退休待遇的取消或大幅降低。同时，相关单位在处理退休公职人员退休待遇问题时也应依法依规进行，确保公平公正。

如果您或您身边的人遇到此类问题，可以直接向我咨询，我会根据具体情况提供详细的法律建议。