孩子判给男方让他姑姑照顾，并不直接构成违法，但需要考虑实际情况和法律规定。

首先，从法律层面来看，父母是未成年子女的法定监护人，对子女负有抚养、教育和保护的义务。如果父母因故不能亲自照顾子女，可以委托他人代为照顾，但这并不意味着父母可以完全推卸自己的责任。在这个案例中，如果男方作为孩子的法定监护人，因工作、生病或其他合理原因暂时无法亲自照顾孩子，而委托其姑姑代为照顾，这在法律上是被允许的。

然而，有几个关键点需要注意：

1. 男方的监护权：男方必须确保自己仍然保留对孩子的监护权，并且这种委托照顾是出于正当原因，而非为了逃避抚养责任。
2. 姑姑的照顾能力：姑姑必须具备照顾孩子的能力和条件，确保孩子的安全、健康和教育需求得到满足。
3. 孩子的意愿：如果孩子已经具备一定的自主意识和表达能力，那么他们的意愿也应该被考虑在内。
4. 法律监督：虽然这种委托照顾不直接构成违法，但如果男方长期不履行抚养义务，或者姑姑的照顾方式存在严重问题，那么可能会受到法律的监督和干预。

综上所述，孩子判给男方让他姑姑照顾并不直接违法，但男方需要确保自己仍然承担抚养责任，姑姑具备照顾能力，并且尊重孩子的意愿。同时，这种委托照顾方式也需要接受法律的监督，以确保孩子的权益得到保障。如果你在这方面有进一步的法律疑问或需要更具体的建议，可以直接向我咨询。