针对您提出的“别人建房危害到我们安全怎么办”的问题，我理解您的担忧和困扰。当邻居或他人的建房行为可能对您的居住安全构成威胁时，您确实有权采取措施来保护自己和家人的安全。以下是我从多个角度为您分析的建议：

1. 首先，确认危害的具体情况：

   • 您需要明确建房行为具体如何危害到您的安全。是房屋结构不稳定、施工过程中的安全隐患（如高空坠物、施工噪音和震动影响房屋结构安全等），还是其他方面的威胁？
   • 收集相关证据，如照片、视频、施工记录等，以便在后续沟通或法律程序中证明危害的存在。

2. 与建房方进行沟通：

   • 在确认危害情况后，尝试与建房方进行友好沟通，表达您的担忧和诉求。
   • 要求建房方采取必要的措施来消除安全隐患，如加固房屋结构、设置安全防护网、控制施工时间等。

3. 向相关部门投诉：

   • 如果沟通无果，或者建房方拒绝采取措施消除安全隐患，您可以向当地的城建部门、规划部门或安全监管部门投诉。
   • 这些部门有权对建房行为进行监管，并可以要求建房方停止违法行为、采取补救措施或接受处罚。

4. 考虑法律途径：

   • 如果上述措施均未能解决问题，且您的安全确实受到了严重威胁，您可以考虑通过法律途径来维护自己的权益。
   • 根据《民法典》中关于相邻权的规定，不动产的相邻权利人应当按照有利生产、方便生活、团结互助、公平合理的原则，正确处理相邻关系。如果建房行为违反了这一原则，并对您造成了损害，您有权要求建房方承担侵权责任。
   • 您可以向法院提起诉讼，要求建房方停止侵害、排除妨碍、消除危险或赔偿损失等。

5. 关注施工过程中的其他潜在风险：

   • 除了直接的安全隐患外，您还应关注施工过程中的其他潜在风险，如施工噪音、扬尘污染等。
   • 这些风险虽然可能不直接威胁到您的生命安全，但也会对您的生活质量造成影响。您同样可以向相关部门投诉或要求建房方采取措施减少影响。

在处理此类问题时，我建议您保持冷静和理性，通过合法途径来维护自己的权益。同时，也请您注意保护自己的安全和健康，避免与建房方发生直接冲突。如果您在处理过程中遇到任何困难或疑问，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。