首先，如果建房时邻居声称你的挖机挖坏了他家的墙，你需要冷静处理，不要急于辩解或忽视问题。以下是我给出的具体建议：

1. 立即停止施工并查看损害情况：

   • 在接到邻居的反映后，应立即停止施工，避免损害进一步扩大。
   • 与邻居一起查看损害情况，记录损害的具体位置和程度，并拍照留证。

2. 与邻居进行协商：

   • 尝试与邻居进行友好协商，了解他的具体诉求和赔偿要求。
   • 如果邻居的诉求合理，且损害确实是由你的施工造成的，你可以考虑给予适当的赔偿。

3. 邀请第三方机构进行评估：

   • 如果双方对损害程度或赔偿金额有争议，可以邀请第三方机构进行评估。
   • 评估结果将作为双方协商或后续法律程序的重要依据。

4. 依据法律法规进行处理：

   • 根据《民法典》的相关规定，不动产权利人挖掘土地、建造建筑物等时，不得危及相邻不动产的安全。
   • 如果你的施工确实造成了邻居房屋的损害，你需要承担相应的赔偿责任。
   • 如果双方无法协商达成一致，邻居可能会通过法律途径寻求赔偿。在这种情况下，你需要积极应诉，并依据法律法规进行辩护。

5. 考虑调解或诉讼：

   • 如果双方无法协商达成一致，你可以考虑寻求调解或诉讼来解决纠纷。
   • 调解是一种相对温和且成本较低的解决方式，可以通过人民调解委员会等机构进行。
   • 如果调解无果，你可以考虑向法院提起诉讼，通过法律程序来解决纠纷。

综上所述，如果建房时邻居声称你的挖机挖坏了他家的墙，你应立即停止施工并查看损害情况，与邻居进行协商，并邀请第三方机构进行评估。在处理过程中，你需要依据法律法规进行处理，并考虑调解或诉讼来解决纠纷。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。