拆迁工作人员收钱后退还的行为是否违法，需分情况讨论：
若收钱行为本身即违法，退还并不能改变违法性质：
- 违法情形：拆迁工作人员在拆迁过程中，利用职务之便，向被拆迁户索取或非法收受财物，如以“加快拆迁进度”、“提高补偿标准”等为由收取好处费，这种行为本身即构成受贿或贪污（视具体身份和情节而定），违反了《中华人民共和国刑法》中关于贪污贿赂犯罪的规定。
- 退还的影响：即使工作人员事后退还了所收财物，也不能改变其先前行为的违法性。因为违法行为的成立，是基于行为时的客观事实和主观故意，退还只是事后的补救措施，不影响违法行为的定性。但退还行为可能作为量刑时的从轻情节考虑。
若收钱行为基于误解或错误，退还则可能不构成违法：
- 误解或错误情形：例如，拆迁工作人员误以为被拆迁户需要支付某种“费用”才能办理拆迁手续，而实际上这种费用并不存在或不应由被拆迁户承担。在这种情况下，工作人员收取费用后发现错误并退还，可能不构成违法。
- 关键点：关键在于工作人员收取费用时是否存在故意违法或明知故犯的情况。如果是因为误解或错误而收取，且事后及时退还，通常不视为违法行为。
若收钱行为涉及诈骗，退还亦不能免除法律责任：
- 诈骗情形：如果拆迁工作人员以非法占有为目的，虚构事实或隐瞒真相，骗取被拆迁户的财物，如谎称需要支付“关系费”才能获得更高补偿，这种行为构成诈骗罪。
- 退还的影响：即使工作人员事后退还了诈骗所得，也不能免除其诈骗罪的法律责任。因为诈骗罪的成立，是基于行为时的诈骗故意和非法占有目的，退还只是事后的悔过表现，不影响犯罪的成立。但退还行为可能作为量刑时的考虑因素。
法律建议：
- 对于拆迁工作人员：应严格遵守法律法规和职业道德规范，不得利用职务之便索取或非法收受财物。如果因误解或错误而收取了不应收取的费用，应及时退还并向上级部门报告。
- 对于被拆迁户：应提高警惕，不要轻信拆迁工作人员的“特殊要求”或“额外费用”。如果遇到类似情况，应及时向相关部门举报并保留好相关证据。
可能后果：
- 如果拆迁工作人员的行为构成犯罪，将面临刑事处罚，包括有期徒刑、拘役、罚金等。
- 如果行为不构成犯罪但违反了行政法规或职业道德规范，也可能面临行政处罚或职业纪律处分。
行动指南：
- 如果您是拆迁工作人员，发现自己在拆迁过程中有不当收钱行为，应立即停止并退还财物，同时向上级部门报告并接受调查处理。
- 如果您是被拆迁户，发现拆迁工作人员有不当收钱行为，应及时向相关部门举报并保留好相关证据，以便维护自己的合法权益。
如有进一步疑问或需要具体法律帮助，请直接向我咨询。