哥哥能否起诉合同无效，需视具体情况而定，但一般情况下，超过三年可能面临诉讼时效的问题。以下从不同角度进行分析：
一、诉讼时效的角度
一般诉讼时效：根据《中华人民共和国民法典》的相关规定，向人民法院请求保护民事权利的诉讼时效期间通常为三年。这意味着，如果哥哥认为房屋买卖合同存在无效情形，他需要在知道或应当知道权利受到损害以及义务人之日起三年内提起诉讼。
最长诉讼时效：虽然一般诉讼时效为三年，但自权利受到损害之日起超过二十年的，人民法院不予保护。不过，在大多数情况下，哥哥不太可能等待二十年才提起诉讼。
诉讼时效的中断与中止：如果哥哥在诉讼时效期间内因某些法定事由（如不可抗力、权利人向义务人提出履行请求等）导致无法提起诉讼，诉讼时效可能会中断或中止。但这种情况需要具体证据支持，且操作起来相对复杂。
二、合同无效的情形
即使哥哥在诉讼时效内提起诉讼，也需要证明房屋买卖合同存在无效情形。根据《中华人民共和国民法典》的相关规定，合同无效的情形主要包括：
无民事行为能力人实施的民事法律行为：如果母亲或弟弟在签订合同时属于无民事行为能力人，则合同无效。
行为人与相对人以虚假的意思表示实施的民事法律行为：如果双方签订合同时并非真实意思表示，而是出于某种虚假目的，则合同无效。
违反法律、行政法规的强制性规定的民事法律行为：如果合同内容违反了法律、行政法规的强制性规定，则合同无效。但需要注意的是，该强制性规定不导致该民事法律行为无效的除外。
违背公序良俗的民事法律行为：如果合同内容违背了公序良俗，则合同无效。
行为人与相对人恶意串通，损害他人合法权益的民事法律行为：如果母亲和弟弟在签订合同时恶意串通，损害了哥哥的合法权益，则合同无效。
三、实际操作建议
收集证据：哥哥需要收集相关证据，证明房屋买卖合同存在无效情形，以及自己在诉讼时效期间内提起诉讼的合理性。
咨询专业律师：虽然我作为叶儒璋律师已经给出了上述分析，但具体案件仍需根据实际情况进行判断。哥哥可以向我咨询，我会根据他提供的具体信息给出更详细的法律建议。
考虑和解或调解：在提起诉讼前，哥哥也可以考虑与母亲和弟弟进行和解或调解，以达成双方都能接受的解决方案。
综上所述，哥哥能否起诉合同无效需视具体情况而定。如果合同确实存在无效情形，且哥哥能在诉讼时效期间内提起诉讼并提供充分证据，那么他有可能成功起诉合同无效。但无论如何，哥哥都应该尽快采取行动，并咨询专业律师以获取更详细的法律建议。