结论：村干部在有人侵占村集体土地建房的情况下，确实可能负有责任，具体责任需根据村干部的履职情况、是否知情以及是否采取措施等因素综合判断。

分析如下：

1. 村干部的职责与义务：

   • 村干部作为村集体组织的管理者，有责任维护村集体土地的合法权益，确保土地不被非法侵占或滥用。
   • 他们应当积极履行职责，对发现的土地侵占行为及时制止，并向上级部门报告，以便采取进一步的法律措施。

2. 村干部可能承担的责任：

   • 行政责任：如果村干部明知有人侵占村集体土地建房而未采取任何措施，或者甚至默许、纵容这种行为，他们可能因失职或渎职而承担行政责任，如受到警告、记过、降级等处分。
   • 民事责任：在极端情况下，如果村干部的行为导致村集体土地遭受重大损失，且这种损失与村干部的失职或渎职行为有直接因果关系，村干部可能还需承担一定的民事赔偿责任。不过，这种情况较为少见，且需要具体证据支持。
   • 刑事责任：在极少数情况下，如果村干部与侵占者勾结，共同实施侵占行为，或者村干部利用职务之便为侵占者提供便利，他们可能构成共同犯罪，需承担刑事责任。

3. 村干部免责的情形：

   • 如果村干部对侵占行为确实不知情，或者虽然知情但已及时采取措施制止并向上级部门报告，那么他们通常不需要承担责任。
   • 另外，如果村干部在发现侵占行为后，由于客观原因（如力量不足、法律程序限制等）无法立即制止，但已尽到合理努力，也不应被追究责任。

建议与措施：

• 对于村民而言，如果发现有人侵占村集体土地建房，应及时向村干部报告，并要求村干部采取措施制止。
• 如果村干部不作为或处理不当，村民可以向乡镇政府或相关部门反映情况，寻求帮助和支持。
• 村干部应加强对村集体土地的管理和监督，定期巡查，及时发现并处理土地侵占行为。
• 同时，村干部也应加强法律知识学习，提高法律意识，确保在处理土地问题时能够依法行事。

后续行动：

• 如果您或您所在的村集体遇到了类似问题，建议收集相关证据（如照片、视频、证人证言等），以便在需要时证明侵占行为的存在和村干部的责任。
• 有问题可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议和帮助。