结论：主管在工厂吃回扣的钱是否需要退回，这主要取决于回扣的性质以及工厂的相关规定和法律要求。一般来说，如果回扣属于违法所得或违反工厂规定，那么主管是需要退回的。
详细分析：
回扣的性质：
- 违法所得：如果主管收取的回扣是通过不正当手段获取的，比如利用职务之便向供应商索取财物，或者与供应商勾结抬高价格后从中分成，这种回扣属于违法所得。根据《中华人民共和国刑法》的相关规定，违法所得应当予以追缴或者责令退赔。
- 合法奖励或佣金：在某些情况下，如果工厂有明确的政策允许员工因业务表现获得奖励或佣金，并且这种奖励或佣金是公开透明的，那么这种性质的“回扣”可能不需要退回。但这种情况较为少见，且需要严格符合工厂规定和法律法规。
工厂的规定：
- 工厂通常会有明确的规章制度来规范员工的行为，包括禁止员工收取回扣。如果主管违反了这些规定，工厂有权要求主管退回回扣，并可能根据规定对主管进行处罚。
- 工厂还可能通过内部调查或审计来发现主管收取回扣的行为，并据此采取相应的措施。
法律要求：
- 除了刑法中关于违法所得的规定外，劳动法也保护员工的合法权益，但同时也要求员工遵守职业道德和工厂的规章制度。如果主管收取回扣的行为违反了劳动法或相关法律法规，那么除了可能需要退回回扣外，还可能面临法律责任。
- 在某些情况下，如果回扣行为涉及贪污、受贿等犯罪行为，主管还可能面临刑事指控和刑罚。
建议：
- 对于主管：如果意识到自己收取了回扣，并且这种行为可能违反了工厂规定或法律法规，建议主动向工厂说明情况并退回回扣。这不仅可以避免可能的法律责任，还可以维护自己的职业声誉和道德形象。
- 对于工厂：如果发现主管收取回扣的行为，应当立即进行调查并采取相应的措施。这包括要求主管退回回扣、根据工厂规定进行处罚，以及在必要时向法律机构报案。
后续行动：
- 如果主管拒绝退回回扣或工厂与主管之间无法就回扣问题达成一致，工厂可以考虑通过法律途径解决争议。这可能包括提起民事诉讼要求主管退回回扣并赔偿损失，或者向公安机关报案追究主管的刑事责任。
总之，主管在工厂吃回扣的钱是否需要退回取决于多种因素，包括回扣的性质、工厂的规定以及法律要求。如果有任何疑问或需要进一步的法律建议，请直接向我咨询。