结论：前妻把孩子送回来后您不管是否违法，需根据具体情况来判断，主要涉及抚养权归属、您的行为是否违反法律规定或离婚协议/法院判决等因素。以下从不同角度为您详细分析：
一、不构成违法的情况
您享有抚养权且前妻送回孩子符合约定：
- 如果离婚协议或法院判决明确规定了您享有孩子的抚养权，且前妻将孩子送回的行为是出于双方之前的约定或协商一致，那么您不管孩子（这里理解为暂时不直接照顾，但并非完全放弃抚养义务）并不构成违法。不过，作为抚养权人，您仍需承担对孩子的抚养、教育和保护义务，不能长期忽视或拒绝履行。
前妻送回孩子是出于孩子利益考虑：
- 如果前妻因特殊原因（如工作、健康等）暂时无法照顾孩子，将孩子送回给您，且这一行为是出于孩子的最佳利益考虑，那么您作为有抚养能力的一方，应当积极承担起抚养责任。但如果您因合理原因（如工作、生病等）暂时无法直接照顾，且已采取合理措施（如安排其他亲属照顾）确保孩子得到妥善照料，那么您的行为也不构成违法。
二、可能构成违法的情况
您拒绝履行抚养义务：
- 如果您作为抚养权人，在前妻将孩子送回后，无正当理由拒绝履行抚养义务（如拒绝提供生活费、教育费、医疗费等，或拒绝照顾孩子的生活起居），导致孩子处于无人照料或生活困难的境地，那么您的行为可能构成遗弃罪或违反《中华人民共和国民法典》中关于抚养义务的规定。
您的行为违反离婚协议或法院判决：
- 如果离婚协议或法院判决中明确规定了您在前妻送回孩子后应承担的具体抚养责任或义务，而您拒绝履行或违反这些规定，那么您的行为可能构成违约或违法。例如，判决中规定您需在前妻送回孩子后立即接管并抚养，但您却拒绝接管或长期将孩子置于无人照料的状态。
三、法律建议与应对措施
明确抚养权与抚养义务：
- 首先，您需要明确自己与前妻之间的抚养权归属以及各自应承担的抚养义务。这可以通过查阅离婚协议或法院判决书来确认。
积极沟通协商：
- 如果前妻将孩子送回后您因特殊原因暂时无法直接照顾，建议与前妻进行积极沟通协商，共同寻找妥善的解决方案。例如，可以协商由其他亲属暂时照顾孩子，或调整抚养时间等。
履行抚养义务并保留证据：
- 作为抚养权人，您应积极履行抚养义务，确保孩子得到妥善照料。同时，建议您保留相关证据（如支付生活费、教育费的凭证、照顾孩子的照片或视频等），以备不时之需。
寻求法律帮助：
- 如果您与前妻在抚养问题上存在争议或无法协商解决，建议及时寻求法律帮助。您可以咨询专业律师（如我），了解相关法律规定和诉讼程序，以便更好地维护自己和孩子的合法权益。
最后，抚养孩子是父母双方的责任和义务。无论您与前妻之间的抚养权归属如何，都应积极履行抚养义务，确保孩子得到妥善照料和健康成长。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。