结论：您可以考虑起诉建房人，但具体是否起诉以及起诉的策略需根据实际情况综合判断。以下是从不同角度为您进行的分析：
一、法律关系分析
承包地权益：
- 您作为承包地的合法承包人，享有对该土地的承包经营权。任何未经您同意，擅自侵占、转让或改变土地用途的行为，均构成对您承包经营权的侵害。
建房人行为：
- 建房人未经您同意，在您的承包地上建房，显然侵犯了您的土地权益。如果建房人明知或应知该土地属于您承包，却仍进行建设，其主观上存在过错，应承担相应的法律责任。
村民转让行为：
- 村民未经您同意，将您的承包地转让给他人建房，同样构成侵权。如果村民与建房人之间存在恶意串通，损害您的利益，您还可以要求他们承担连带赔偿责任。
二、起诉建房人的可行性
法律依据：
- 根据《中华人民共和国民法典》的相关规定，侵害物权，造成权利人损害的，权利人可以依法请求损害赔偿，也可以依法请求承担其他民事责任。因此，您有权要求建房人停止侵害、恢复原状、赔偿损失等。
证据收集：
- 在起诉前，您需要收集充分的证据来证明您的承包地权益、建房人的侵权行为以及您因此遭受的损失。这些证据可能包括承包合同、土地权属证书、现场照片、视频、证人证言等。
诉讼策略：
- 在起诉时，您可以将村民和建房人作为共同被告，要求他们共同承担侵权责任。如果村民与建房人之间存在恶意串通，您还可以主张他们承担连带赔偿责任。
- 同时，您可以考虑申请财产保全，防止建房人转移或隐匿财产，以确保判决能够得到有效执行。
三、其他考虑因素
诉讼成本：
- 起诉需要支付诉讼费、律师费等费用，您需要评估这些成本是否在您的承受范围内。同时，诉讼过程可能耗时较长，您需要做好心理准备。
和解可能性：
- 在起诉前或诉讼过程中，您可以考虑与建房人或村民进行和解。如果双方能够达成和解协议，可以节省诉讼成本和时间，同时也有助于维护邻里关系。
行政途径：
- 除了诉讼外，您还可以考虑通过行政途径解决问题。例如，向当地土地管理部门或城乡规划部门举报建房人的违法行为，要求他们进行查处。
四、建议与行动
咨询专业律师：
- 在决定是否起诉前，建议您咨询专业律师（当然，您可以直接向我咨询），了解具体的法律程序和可能的风险。律师可以根据您的具体情况，为您提供更详细的法律建议和诉讼策略。
积极收集证据：
- 无论您选择何种途径解决问题，都需要积极收集证据来支持您的主张。证据是诉讼或行政处理的基础，务必确保证据的充分性和合法性。
保持冷静与理性：
- 在处理此类纠纷时，保持冷静与理性至关重要。避免采取过激行为或言语攻击，以免激化矛盾或给自己带来不必要的麻烦。
如果您有任何进一步的疑问或需要更具体的法律建议，请随时向我咨询。