针对您提出的“自建房周边利害关系书已签，但回访时对方不同意”的问题，这确实是一个涉及多方利益和法律程序的复杂情况。以下是我为您提供的详细解答：
一、理解问题背景
首先，我们需要明确几个关键点：
自建房周边利害关系书：这通常是在进行自建房建设前，为了协调周边居民或单位的利益，由建设方与周边利害关系人签订的一种协议或声明，旨在明确双方的权利和义务，减少后续纠纷。
回访时对方不同意：这可能意味着在签订协议后，由于某些原因（如建设方案变更、影响程度超出预期等），周边利害关系人对原协议内容或建设行为产生了异议。
二、分析可能的原因
对方不同意的原因可能包括但不限于：
- 建设行为对周边环境或利益造成了实际影响：如噪音、采光、通风、隐私等。
- 协议内容存在模糊或不明确之处：导致双方对协议的理解产生分歧。
- 对方对建设方的信任度降低：可能由于建设方在建设过程中的某些行为或态度引起。
三、应对策略
针对这种情况，您可以考虑以下应对策略：
重新沟通协商：
- 安排一次面对面的会议，邀请周边利害关系人共同参与，详细解释建设方案、可能的影响及已采取的缓解措施。
- 倾听对方的诉求和担忧，尝试找到双方都能接受的解决方案。
- 如果可能，可以考虑对原协议进行修订或补充，以更好地满足双方的需求。
寻求第三方调解：
- 如果双方直接沟通难以达成一致，可以考虑邀请社区、村委会或相关政府部门作为第三方进行调解。
- 第三方调解通常能提供更客观、公正的意见，有助于双方找到平衡点。
法律途径：
- 如果协商和调解均无法解决问题，且您认为自己的建设行为符合相关法律法规和规划要求，可以考虑通过法律途径解决纠纷。
- 根据《中华人民共和国行政复议法》和《中华人民共和国行政诉讼法》的相关规定，您有权对行政机关的行政行为提出行政复议或行政诉讼，以维护自己的合法权益。
- 同时，也要做好应对对方可能提出的法律诉讼的准备，确保自己的建设行为在法律上站得住脚。
考虑对方合理诉求：
- 在坚持自己合法权益的同时，也要充分考虑对方的合理诉求和利益。
- 如果可能，可以通过提供一定的补偿或改善措施来缓解对方的担忧和不满。
四、预防措施
为了避免类似问题的再次发生，建议您在未来的自建房建设过程中：
- 提前进行充分沟通：在建设前与周边利害关系人进行充分沟通，了解他们的诉求和担忧，并尽量在协议中予以体现。
- 确保协议内容明确：协议内容应具体、明确，避免模糊或歧义，以减少后续纠纷的可能性。
- 遵守相关法律法规和规划要求：确保自己的建设行为符合相关法律法规和规划要求，以减少被投诉或诉讼的风险。
希望以上解答能对您有所帮助。如果您还有其他问题或需要进一步的法律建议，请随时咨询。