您好，关于退役军人犯罪后最怕哪个部门处罚的问题，这实际上涉及多个法律层面和执法机构。不过，若要从一个核心部门的角度来谈，退役军人工作主管部门（通常是退役军人事务部或地方退役军人事务局）在涉及退役军人相关法律法规的执法和处罚中扮演着关键角色。

首先，需要明确的是，退役军人犯罪后，其处罚主要由司法机关（如法院、检察院）根据犯罪性质和情节来判定和执行。然而，在涉及退役军人特定权益和待遇的法律法规方面，退役军人工作主管部门具有直接的执法权。

具体来说，如果退役军人存在以下行为，如弄虚作假骗取安置待遇、拒绝或无故拖延执行退役军人安置任务、不履行优待义务等，这些行为会直接受到退役军人工作主管部门的处罚。处罚措施可能包括责令限期改正、通报批评、取消相关待遇、追缴非法所得，甚至依法追究责任。

此外，对于退役军人犯罪后可能面临的更广泛处罚，如刑事处罚，这虽然不由退役军人工作主管部门直接执行，但退役军人工作主管部门在相关法律法规的宣传、执行和监督方面发挥着重要作用。他们可能会与司法机关合作，确保退役军人在犯罪后受到公正、合法的处理，并维护其合法权益（在符合法律法规的前提下）。

因此，虽然退役军人犯罪后的处罚主要由司法机关决定和执行，但退役军人工作主管部门在涉及退役军人特定权益和待遇的法律法规执法方面具有重要影响力。退役军人应当遵守国家法律法规，珍惜自己的荣誉和地位，避免违法犯罪行为的发生。如果确实面临法律问题，建议及时咨询专业律师或相关法律机构，以获取准确、专业的法律帮助。