结论前置：针对您自建房围墙被邻居认为破坏但无证据的情况，您可以先尝试与邻居沟通协商，若协商无果，可考虑通过法律途径解决，但需注意收集和保留相关证据。以下是从不同角度为您详细分析的建议：
一、与邻居沟通协商
主动沟通：首先，您可以主动与邻居进行沟通，了解他们为何认为围墙是被破坏的，以及他们是否有任何具体的线索或怀疑对象。通过沟通，您可能能够澄清误会，或者发现一些之前未注意到的细节。
提出解决方案：如果邻居确实对围墙的状况表示担忧，您可以提出一些解决方案，如共同出资修复围墙、安装监控摄像头以监控围墙状况等。这有助于缓解紧张关系，并找到双方都能接受的解决方案。
二、收集和保留证据
现场照片和视频：尽管目前没有直接证据表明围墙是被谁破坏的，但您可以拍摄围墙的现状照片和视频，特别是那些显示围墙摇摇欲坠、有明显人为破坏痕迹的部分。这些证据在后续可能的法律纠纷中可能起到关键作用。
寻找目击者：尝试寻找可能目击到围墙被破坏情况的邻居或路人，并询问他们是否愿意提供证言。目击者的证言可能成为证明围墙被破坏的重要证据。
保留相关记录：如果您之前与邻居有过关于围墙的沟通记录（如短信、邮件、微信聊天记录等），也请妥善保留。这些记录可能有助于证明您对围墙状况的关注和态度。
三、考虑法律途径
报警处理：如果围墙被破坏的情况严重，且您怀疑是邻居所为但无直接证据，您可以考虑向当地公安机关报案。公安机关可能会进行调查，并收集相关证据。虽然报案不一定能直接解决问题，但至少可以留下官方记录，为后续可能的法律纠纷提供支持。
提起民事诉讼：如果围墙的破坏给您造成了经济损失（如修复费用、安全担忧导致的精神损失等），且您认为邻居有责任承担这些损失，您可以考虑向法院提起民事诉讼。在诉讼过程中，您需要提供充分的证据来证明邻居的过错和您的损失。然而，由于目前缺乏直接证据，提起诉讼可能面临一定的挑战。因此，在决定提起诉讼前，请务必谨慎评估证据的充分性和诉讼的可行性。
四、注意事项
保持冷静和理性：在处理此类纠纷时，请务必保持冷静和理性。避免与邻居发生冲突或争吵，以免加剧矛盾。
寻求专业帮助：如果您在处理纠纷过程中遇到困难或不确定如何操作，可以考虑咨询专业律师或法律机构。他们可以提供专业的法律建议和帮助，指导您如何更好地维护自己的权益。
最后，希望您能够顺利解决与邻居之间的纠纷。如果您有任何其他法律问题或需要进一步的帮助，请随时向我咨询。