结论：是否犯法需视具体情况而定，不能一概而论。以下从不同角度为您详细分析：
一、若您与儿子之间存在有效的抚养权或探视权约定或判决
抚养权归属您：
- 如果您是儿子的法定抚养人，且抚养权已经通过法律程序确认归您所有，那么对方不让儿子回到您身边，可能构成对抚养权的侵犯。
- 在这种情况下，您可以依法向法院提起诉讼，要求对方履行抚养义务，将儿子交还给您。
探视权受阻：
- 如果您与儿子之间存在探视权约定或判决，而对方阻止您行使探视权，不让您与儿子见面，这也可能构成违法行为。
- 您可以向法院申请强制执行探视权，要求对方配合您行使探视权。
二、若您与儿子之间不存在有效的抚养权或探视权约定或判决
双方协商阶段：
- 如果您与儿子之间尚未通过法律程序确定抚养权或探视权，而对方不让儿子回到您身边，这通常属于家庭内部纠纷。
- 在这种情况下，建议您首先尝试与对方进行协商，寻求双方都能接受的解决方案。
可能涉及的其他法律问题：
- 如果对方的行为构成对儿子的虐待、遗弃或其他违法行为，您可以向相关部门（如公安机关、儿童保护机构等）报案，要求对方承担相应的法律责任。
- 如果对方的行为严重影响了儿子的身心健康和成长环境，您也可以考虑通过法律途径变更抚养权。
三、法律建议
收集证据：
- 无论您选择哪种途径解决问题，都建议您首先收集相关证据，如聊天记录、通话录音、视频资料等，以证明对方的行为确实存在且违法。
寻求法律帮助：
- 如果您对法律程序不熟悉或感到困惑，建议您寻求专业律师的帮助。律师可以为您提供法律咨询、代理诉讼等服务，帮助您更好地维护自己的合法权益。
保持冷静和理性：
- 在处理此类纠纷时，请保持冷静和理性，避免采取过激行为或言语攻击对方。这有助于您更好地解决问题，并保护自己和儿子的权益。
后续行动建议：如果您遇到此类问题，请首先明确自己与儿子之间的法律关系（如抚养权、探视权等），然后根据实际情况选择合适的解决途径。如有需要，请随时向我咨询，我会根据您的具体情况提供更详细的法律建议。