若回签安置房协议中没有约定补面积差价，一般情况下不能直接拒交，但需根据面积误差的具体情况来处理。以下是从不同角度的详细分析：

一、面积误差在3%以内的情况

1. 法律原则：根据《商品房销售管理办法》第二十条的规定，若按套内建筑面积或者建筑面积计价，且合同中未载明合同约定面积与产权登记面积发生误差的处理方式，那么当面积误差比绝对值在3%以内时，应据实结算房价款。

2. 具体操作：在此情况下，即使协议中没有明确约定补面积差价，买方仍有义务根据实际面积与约定面积的差异，按照约定价格补足或退还相应的房价款。因此，不能直接拒交面积差价。

二、面积误差超出3%的情况

1. 买方有权退房：若面积误差比绝对值超出3%，买方有权选择退房。在此情况下，房地产开发企业应在买方提出退房之日起30日内，将买方已付房价款退还给买方，并支付已付房价款利息。

2. 买方坚持履约的处理：若买方选择坚持履约，不退房，则需根据面积差异与约定价格的比例来处理。具体来说：

   • 产权登记面积大于合同约定面积时，面积误差比在3%以内部分的房价款由买方补足；超出3%部分的房价款由房地产开发企业承担，产权归买方。
   • 产权登记面积小于合同约定面积时，面积误差比绝对值在3%以内部分的房价款由房地产开发企业返还买方；绝对值超出3%部分的房价款由房地产开发企业双倍返还买方。

3. 特殊情况下的处理：若因规划设计变更造成面积差异，且当事人不解除合同的，应当签署补充协议来明确面积差异的处理方式。

三、建议与注意事项

1. 审查协议条款：在签订回签安置房协议时，务必仔细审查协议条款，特别是关于面积误差处理方式的约定。若协议中未明确约定，可考虑与卖方协商补充约定，以避免后续纠纷。

2. 保留相关证据：在交易过程中，应保留好与房屋面积、价格等相关的证据材料，如房屋测绘报告、购房发票等，以便在发生纠纷时维护自己的合法权益。

3. 及时咨询专业律师：若对面积误差处理方式存在疑问或发生纠纷，建议及时咨询专业律师，以获取更具体的法律建议和帮助。

总结来看，回签安置房协议中没有约定补面积差价时，不能直接拒交。而是应根据面积误差的具体情况，按照相关法律法规和协议约定来处理。若遇到复杂情况或纠纷，建议及时咨询专业律师以获取法律支持。