关于自建房邻居签字能否撤回及合法性的问题，结论前置如下：
- 若邻居签字是基于自愿且未违反法律法规，一般不能随意撤回。但若签字行为存在欺诈、胁迫等情形，邻居有权通过法律途径主张签字无效或撤销。
- 从合法性角度讲，自建房并非必须取得邻居签字，但需遵守相关法律法规和规划要求，并在特定情况下与邻居进行沟通和协商。
详细分析：
一、邻居签字的性质与效力
邻居签字通常是在建房过程中，对建房方案、边界划分、相邻关系等事项的一种确认或同意。这种签字行为一旦成立，即具有法律上的效力，意味着邻居对相关事项的认可和接受。因此，在签字行为自愿且未违反法律法规的前提下，邻居一般不能随意撤回签字。
然而，如果邻居在签字时存在欺诈、胁迫等情形，导致签字行为并非其真实意思表示，那么邻居有权通过法律途径主张签字无效或撤销。这种情况下，邻居的签字行为将失去法律效力，建房者可能需要重新与邻居进行协商或寻求其他解决方案。
二、自建房与邻居签字的关系
从法律层面讲，农村自建房并非必须取得邻居签字才能建造。根据《中华人民共和国土地管理法》等相关法律法规，农村村民申请自建房主要需满足当地的宅基地申请条件和建房规划要求。只要村民符合申请条件，向本集体经济组织或村民委员会提出申请，并经过相关部门审核批准后，即可进行建房。法律层面并未明确规定建房必须取得邻居签字同意。
但在实际操作中，由于农村自建房常涉及土地使用权等敏感问题，与邻居的沟通和协商至关重要。特别是在以下情况下，邻居的签字可能成为建房过程中的一个重要环节：
- 地方政策或村规民约要求：部分地区为和谐邻里关系、减少纠纷，可能会出台地方性政策或村规民约，要求建房者在申请时取得邻居签字。若遇此类情况，应遵守当地规定，但若认为规定不合理，可通过合法途径反映。
- 相邻关系影响：如建房可能影响邻居的通风、采光、排水、通行等相邻权，建议主动与邻居沟通并取得其理解与支持。否则，即使获得建房审批，也可能因邻居后续的法律维权而受阻或承担赔偿责任。
- 共用结构：若建房涉及共用墙或其他与邻居有共同利益的情况，应与邻居明确相关权益和责任划分，以避免日后纠纷。
三、邻居签字撤回的合法途径与后果
如果邻居确实需要撤回签字，且签字行为存在欺诈、胁迫等情形，邻居可以通过以下途径主张权利：
- 与建房者协商：首先尝试与建房者进行友好协商，说明签字行为存在的问题和撤回的意愿，寻求双方都能接受的解决方案。
- 寻求法律援助：如果协商无果，邻居可以寻求法律援助或咨询专业律师，了解自己的权利和义务，以及如何通过法律途径主张签字无效或撤销。
- 提起诉讼：在必要时，邻居可以向法院提起诉讼，要求确认签字行为无效或撤销签字，并可能要求建房者承担因此造成的损失。
若邻居成功撤回签字或主张签字无效，建房者可能需要重新与邻居进行协商或调整建房方案，以确保建房的合法性和减少潜在的纠纷。
法律建议：
- 在建房前充分了解当地政策和规定，确保建房行为符合法律法规和规划要求。
- 与邻居进行充分沟通和协商，争取邻居的理解和支持，减少潜在的纠纷和冲突。
- 在签字前仔细阅读相关文件和条款，确保签字行为是自愿且真实的，避免后续出现纠纷。
- 如遇法律问题或纠纷，及时咨询专业律师或寻求法律援助，以维护自己的合法权益。
如有任何进一步的问题或需要更详细的法律咨询，请随时向我提问。