结论：根据您描述的情况，如果离婚协议中明确约定房子归儿子所有，而男方却霸占该房屋，您是有权起诉男方的。
法律背景与依据
离婚协议的效力：
- 离婚协议是双方自愿达成的，关于解除婚姻关系、子女抚养、财产分割等问题的协议。一旦双方签字并办理离婚登记手续，离婚协议即具有法律效力，对双方均具有约束力。
房产归属的约定：
- 如果离婚协议中明确约定房子归儿子所有，那么该房屋的所有权即转移至儿子名下。男方作为原房屋共有人或原配偶，无权再占有或使用该房屋。
男方的霸占行为：
- 男方霸占房屋的行为，违反了离婚协议的约定，也侵犯了儿子的财产权。根据法律规定，您作为儿子的法定代理人或监护人，有权代表儿子维护其合法权益。
法律建议与行动步骤
收集证据：
- 首先，您需要收集离婚协议、房产证、男方霸占房屋的证据（如照片、视频、证人证言等）。这些证据将用于证明男方违反了离婚协议的约定，并侵犯了儿子的财产权。
协商解决：
- 在起诉之前，您可以尝试与男方进行协商，要求其按照离婚协议的约定，将房屋归还给儿子。如果协商无果，您可以考虑采取法律手段。
提起诉讼：
- 如果协商不成，您可以向法院提起诉讼，要求男方停止侵权行为，并归还房屋。在诉讼过程中，您需要提交上述收集的证据，以支持您的诉讼请求。
执行判决：
- 如果法院判决男方归还房屋，但男方仍不履行判决，您可以向法院申请强制执行。法院将采取强制措施，如查封、拍卖房屋等，以保障儿子的合法权益。
可能的法律后果
- 如果男方被判决归还房屋但仍不履行，除了可能面临法院的强制执行措施外，还可能因拒不执行判决、裁定罪而承担刑事责任。
- 同时，男方的霸占行为也可能对其个人信用和声誉造成负面影响。
特殊情况考虑
- 如果离婚协议中存在模糊或不明确的地方，或者男方对离婚协议的效力提出异议，那么案件可能会变得更加复杂。在这种情况下，您可能需要寻求专业律师的帮助，以更准确地评估案件情况和制定应对策略。
最后，我建议您在处理此类问题时保持冷静和理性，通过合法途径维护自己和儿子的权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。