面对乡政府已经回复要拆除邻居的违建但却不履行的情况，您可以按照以下步骤来处理这个问题，以维护自己的合法权益：

一、再次确认并跟进

1. 确认回复内容：首先，请再次确认乡政府给您的回复内容，包括拆除违建的具体时间、责任部门以及后续跟进方式等，确保您对回复有全面的理解。

2. 主动跟进：在确认回复后，您可以主动联系乡政府的相关部门，了解拆除违建的进展情况，询问是否有任何阻碍或需要您协助的地方。

二、向更高层级部门投诉

1. 了解投诉渠道：如果乡政府未能按照回复履行拆除违建的职责，您可以向更高层级的政府部门，如县（区）级政府或相关行政主管部门（如自然资源和规划局、城管执法部门等）进行投诉。

2. 提交投诉材料：在投诉时，请准备好相关证据，包括乡政府的回复文件、违建的照片或视频、您与乡政府沟通的记录等，以便投诉部门能够全面了解情况。

三、考虑法律途径

1. 咨询专业律师：如果投诉后问题仍未得到解决，您可以考虑咨询专业律师，了解您的法律权益和可能的法律途径。

2. 提起行政诉讼：在律师的指导下，如果认为乡政府的行为构成行政不作为或违法，您可以向有管辖权的人民法院提起行政诉讼，要求乡政府履行拆除违建的职责或承担相应的法律责任。

四、其他辅助措施

1. 联合其他受影响居民：如果违建问题不仅影响了您，还影响了其他居民，您可以联合其他受影响居民共同向乡政府或更高层级部门反映问题，增加解决问题的力度。

2. 利用媒体曝光：在适当的情况下，您也可以考虑通过媒体曝光违建问题，引起社会关注，促使相关部门加快处理进度。但请注意，在曝光前请确保您掌握的信息准确无误，并遵守相关法律法规。

五、注意事项与建议

• 保持冷静和理性：在处理过程中，请保持冷静和理性，避免与邻居或相关部门发生不必要的冲突。
• 持续收集证据：请持续收集并保存好所有相关证据，包括违建的现状、您与乡政府的沟通记录等，以便在需要时提供证明。
• 寻求专业帮助：如果您在处理过程中遇到任何困难或疑问，请随时咨询专业律师或相关部门的意见，以确保您的权益得到妥善维护。

综上所述，面对乡政府不履行拆除违建职责的情况，您可以通过再次确认并跟进、向更高层级部门投诉、考虑法律途径以及采取其他辅助措施来维护自己的合法权益。希望这些建议能够对您有所帮助。