结论：纪检要求退还兼职攒的钱，若该钱款属于违法所得或违反相关规定，则不退还可能构成违法；若该钱款为合法所得，则不退还一般不违法，但需根据具体情况和纪检要求来判断。以下是对此问题的详细分析：
一、若兼职所得属于违法所得或违反相关规定
违法所得的定义：违法所得通常指的是通过非法手段或违反相关规定所获得的财物。在兼职活动中，如果所得的钱款是通过欺诈、贪污、受贿等非法手段获得的，或者违反了兼职单位的规定、行业规范或法律法规，那么这些钱款就可能被视为违法所得。
纪检的要求：纪检部门在调查过程中，如果发现兼职所得属于违法所得，有权要求相关人员退还。这是纪检部门履行职责、维护纪律和法律尊严的必要措施。
不退还的法律后果：如果相关人员拒绝退还违法所得，纪检部门可以采取进一步的措施，如移送司法机关处理。根据《中华人民共和国刑法》的相关规定，对于非法所得，司法机关可以依法追缴，并可能对相关人员处以罚款、没收财产等刑罚。
二、若兼职所得为合法所得
合法所得的定义：合法所得指的是通过合法手段、符合相关规定所获得的财物。在兼职活动中，如果所得的钱款是通过正当劳动、合法交易等方式获得的，且没有违反兼职单位的规定、行业规范或法律法规，那么这些钱款就属于合法所得。
纪检的要求与合法性：纪检部门在调查过程中，如果确认兼职所得为合法所得，一般不会要求退还。因为合法所得受法律保护，纪检部门无权要求退还。但是，如果纪检部门认为兼职活动存在其他问题，如违反单位规定、行业规范等，可能会要求相关人员说明情况或进行整改，但这与退还钱款是两个不同的问题。
不退还的合法性：在兼职所得为合法所得的情况下，如果纪检部门没有合法依据要求退还，而相关人员拒绝退还，这一般不构成违法。因为相关人员有权保护自己的合法财产不受非法侵犯。
三、特殊情况与建议
特殊情况：在某些特殊情况下，即使兼职所得为合法所得，纪检部门也可能基于特定原因（如单位内部规定、行业特殊要求等）要求退还。这种情况下，相关人员需要仔细审查纪检部门的要求是否合法、合理，并咨询专业律师的意见。
建议：面对纪检部门的要求，相关人员应保持冷静、理性，积极配合调查工作。如果认为纪检部门的要求不合理或存在争议，可以及时向纪检部门提出异议，并咨询专业律师的意见。同时，相关人员也应保留好相关证据和资料，以便在需要时维护自己的合法权益。
总结：纪检要求退还兼职攒的钱是否违法，取决于该钱款是否属于违法所得或违反相关规定。如果属于违法所得或违反相关规定，则不退还可能构成违法；如果属于合法所得，则不退还一般不违法。但具体还需根据纪检部门的要求和相关法律法规来判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。