结论：关于换了二十多年的宅基地且签有协议，对方的家属是否可以说不换的问题，这主要取决于协议的效力以及是否存在法定或约定的解除事由。一般情况下，如果协议合法有效且没有法定或约定的解除事由，对方的家属不能随意说不换。以下从多个角度进行详细分析：
一、协议的效力
协议成立与生效：
- 宅基地互换协议，若双方意思表示真实，内容合法，且不违反法律、行政法规的强制性规定，那么该协议自成立时即生效。
- 协议生效后，双方应按照协议约定履行各自的义务，包括宅基地的交付和权属变更等。
协议的合法性：
- 宅基地互换需符合相关法律法规的规定，如《土地管理法》等。若互换行为违反了法律法规的强制性规定，如未经批准擅自互换宅基地，那么该协议可能被认定为无效。
- 在本案例中，若宅基地互换协议已经履行了二十多年，且期间没有发生争议，那么可以合理推断该协议在签订时是合法的，且双方已经按照协议履行了各自的义务。
二、法定或约定的解除事由
法定解除事由：
- 根据《民法典》的相关规定，合同解除的法定事由包括不可抗力、迟延履行主要债务经催告后在合理期限内仍未履行、迟延履行债务或者有其他违约行为致使不能实现合同目的等。
- 在本案例中，若不存在上述法定解除事由，那么对方的家属不能随意解除协议。
约定解除事由：
- 若宅基地互换协议中约定了解除事由，如一方违约、政策变化等，那么当约定的事由发生时，双方可以按照协议约定解除协议。
- 在本案例中，若协议中没有约定解除事由，或者约定的解除事由并未发生，那么对方的家属也不能随意解除协议。
三、对方的家属是否可以说不换
若协议合法有效且无解除事由：
- 对方的家属不能随意说不换，因为协议已经对双方产生了法律约束力。若对方的家属拒绝履行协议，你可以依法要求其继续履行或者承担违约责任。
若协议存在瑕疵或解除事由：
- 若协议存在瑕疵，如签订时存在欺诈、胁迫等情形，或者存在法定或约定的解除事由，那么对方的家属可能有权要求解除协议。但在此情况下，你需要根据具体情况判断协议的效力以及解除的合法性，并考虑采取相应的法律措施来维护自己的权益。
四、建议与措施
审查协议：
- 首先，你需要仔细审查宅基地互换协议的内容，确认协议的效力以及是否存在解除事由。
与对方协商：
- 若对方的家属提出不换的要求，你可以尝试与对方进行协商，了解对方的具体诉求和理由，并寻求双方都能接受的解决方案。
寻求法律帮助：
- 若协商无果，你可以考虑寻求法律帮助，如咨询专业律师或向相关部门申请调解、仲裁等。在必要时，你也可以依法向人民法院提起诉讼，要求对方继续履行协议或者承担违约责任。
最后，宅基地互换协议一旦签订并生效，就对双方产生了法律约束力。若对方的家属想要解除协议，必须存在合法有效的解除事由。因此，在一般情况下，对方的家属不能随意说不换。若你遇到此类问题，建议直接向我咨询，以便更好地维护自己的合法权益。