若被司法部门要求退钱，但认为退钱人不合法，你可以按照以下步骤来处理：
一、核实冻结与退钱要求的合法性
要求司法部门出具正式文件：
- 司法部门在要求退钱或冻结账户时，应当出具正式的法律文书，如裁定书、决定书等。你可以要求查看这些文件，以确认其真实性和合法性。
核实退钱人的身份与要求：
- 仔细核实退钱人的身份，包括其是否为案件当事人、是否具有合法的退钱请求权等。如果退钱人身份不明或要求不合法，你有权拒绝退钱。
二、提出异议与申诉
向司法部门提出书面异议：
- 如果你认为冻结或退钱要求不合法，可以向司法部门提出书面异议，说明你的理由和依据。司法部门在收到异议后，应当进行审查并作出答复。
申请复议或提起诉讼：
- 如果对司法部门的答复不满意，你可以依法申请复议或提起诉讼。在复议或诉讼过程中，你可以提供证据证明退钱人的不合法性，以及冻结或退钱要求的不合理性。
三、寻求法律援助与咨询
咨询专业律师：
- 在处理此类法律问题时，建议咨询专业律师的意见。律师可以根据你的具体情况，提供针对性的法律建议和帮助。（当然，作为冉林花律师，我随时准备为你提供专业的法律咨询。）
了解相关法律法规：
- 自行了解相关的法律法规，如《刑事诉讼法》、《民事诉讼法》等，以便更好地维护自己的合法权益。
四、注意事项与风险防范
保留相关证据：
- 在处理过程中，务必保留好所有相关的证据材料，如冻结通知、退钱要求、异议申请、复议或诉讼文书等。这些证据将在后续的法律程序中发挥重要作用。
避免擅自解冻或转移资金：
- 在司法部门未作出正式决定前，不要擅自解冻或转移被冻结的资金。否则，可能会面临法律责任。
关注案件进展与结果：
- 密切关注案件的进展和结果，及时与司法部门或律师沟通。如果案件结果对你不利，你可以考虑进一步采取法律措施来维护自己的权益。
针对退钱人不合法的情况，你还可以考虑以下法律策略：
- 证明退钱人无权要求退钱：通过提供证据证明退钱人与案件无关或无权要求退钱，如退钱人不是案件当事人、未参与相关交易等。
- 质疑退钱要求的合理性：如果退钱要求明显不合理或超出法律范围，你可以提出质疑并要求司法部门进行审查。
最后，需要强调的是，法律问题具有复杂性和专业性。在处理此类问题时，务必保持冷静和理性，遵循法律程序和规定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。