公职人员兼职取酬的钱一般需要退回原单位或相关单位，具体需根据兼职是否违规及单位要求来定。以下从不同角度进行分析：
一、公职人员兼职取酬的违规性判断
一般情况：根据相关法律法规和管理制度，公职人员一般不得从事或者参与营利性活动，不得在企业或者其他营利性组织中兼任职务。因此，公职人员未经批准擅自兼职取酬，通常被视为违规行为。
特殊情况：在一些特殊情况下，如公职人员因工作需要或组织安排而从事某些兼职活动，这种情况下，公职人员需要事先获得相关部门的批准，并遵守相关规定和限制。若获得批准并遵守规定，则兼职取酬可能不被视为违规。但即便如此，一旦兼职活动结束或不再符合批准条件，所得报酬也可能需要按照单位要求进行处理。
二、兼职取酬的退还要求
主动报告与配合：若公职人员兼职取酬被认定为违规，或者单位要求退还兼职所得，公职人员应主动向所在单位或上级主管部门报告兼职取酬情况，并积极配合退还工作。
提供详细记录：退还时，公职人员应提供兼职取酬的详细记录，包括收入金额、来源、时间等信息，以便相关部门核实。
遵守诚信原则：在退还过程中，公职人员应遵守诚信原则，如实反映情况，不得隐瞒或虚报。
三、退还流程与监督
报告情况：公职人员应主动向所在单位或上级主管部门报告兼职取酬情况，说明兼职的时间、地点、收入金额等信息。
核实记录：所在单位或上级主管部门将对公职人员提供的兼职取酬记录进行核实，确保信息的真实性和准确性。
制定退还方案：根据核实结果，所在单位或上级主管部门将制定退还方案，明确退还金额、方式和时间等要求。
执行退还：公职人员应按照退还方案的要求，在规定的时间内将兼职取酬全额退还给相关单位或部门。
监督反馈：退还完成后，所在单位或上级主管部门将对退还情况进行监督反馈，确保退还工作的顺利进行和合规性。
四、法律后果
对于拒不退还或退还不全的公职人员，相关部门将依法依规进行处理，可能包括纪律处分、行政处罚甚至刑事责任。因此，公职人员应认真对待兼职取酬的退还问题，避免因此产生不必要的法律风险。
建议：如果您是公职人员且存在兼职取酬的情况，请务必先确认兼职是否获得批准并符合相关规定。若存在违规情况或单位要求退还，请按照上述流程主动配合退还工作，以免产生不必要的法律后果。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。