结论：工人除去自己的工资后，剩余的钱不返给小包工头这一行为是否合法或合理，需根据具体情况来判断，包括小包工头与工人之间的约定、工资发放的方式以及是否存在违法或不当行为等。
一、从合同或约定角度分析
若存在明确约定：
- 如果小包工头与工人之间有明确的书面或口头约定，规定工人应将除自己工资外的剩余款项返还给小包工头，那么工人不返还的行为可能构成违约。此时，小包工头有权依据约定要求工人返还剩余款项，甚至可以通过法律途径来维护自己的权益。
若无明确约定：
- 如果双方之间没有明确的约定，那么工人不返还剩余款项的行为可能不构成违约。在这种情况下，小包工头难以直接要求工人返还，除非能证明工人存在不当得利或其他违法行为。
二、从工资发放方式角度分析
合法工资发放：
- 如果甲方按照法律规定和合同约定，直接将工资打入工人的工资卡，且工人领取的工资是其应得的劳动报酬，那么工人有权支配自己的工资，包括不返还剩余款项给小包工头。
非法或不当工资发放：
- 如果小包工头通过让甲方给工人工资卡打钱的方式，来规避法律责任或进行其他不当行为（如逃税、挪用资金等），那么这种行为可能是违法的。在这种情况下，工人不返还剩余款项可能被视为对小包工头违法行为的抵制，但工人也需注意自身行为的合法性，避免陷入法律纠纷。
三、从法律后果角度分析
对工人的法律后果：
- 如果工人不返还剩余款项的行为被认定为违约或不当得利，那么工人可能需要承担返还义务，甚至可能面临法律诉讼和赔偿责任。
对小包工头的法律后果：
- 如果小包工头要求工人返还剩余款项的行为缺乏法律依据或存在违法行为，那么小包工头可能无法得到法律支持，甚至可能面临法律制裁。
四、建议与措施
明确约定：
- 小包工头在与工人合作时，应明确约定工资发放方式、剩余款项的处理等事项，以避免后续纠纷。
合法操作：
- 小包工头应确保自己的操作符合法律规定，避免通过不当方式来规避法律责任或进行其他违法行为。
协商解决：
- 如果发生纠纷，双方应首先尝试通过协商来解决。如果协商无果，可以考虑通过法律途径来维护自己的权益。
寻求法律帮助：
- 如果双方对法律问题存在疑问或无法自行解决纠纷，可以寻求专业律师的帮助来维护自己的合法权益。
总结：工人除去自己的工资后剩余的钱不返给小包工头这一行为是否合法或合理，需根据具体情况来判断。在处理此类问题时，双方应明确约定、合法操作，并通过协商或法律途径来解决纠纷。如果有任何法律问题或需要进一步的法律建议，可以直接向我咨询。