结论：对方要求工程加价后把差价退回是否合法，这取决于双方合同的具体约定以及加价和退差价的具体情形。以下从不同角度进行分析：
一、合同有明确约定的情况
若合同中明确约定了工程价款及调整方式：
- 如果合同中已经明确规定了工程价款，并且也约定了在特定条件下（如材料价格波动、工程量变更等）可以调整价款，那么双方应当按照合同约定执行。
- 在这种情况下，如果对方要求加价，并且加价的原因符合合同约定的调整条件，那么加价本身可能是合法的。但是，要求把加价后的差价退回，则要看合同中是否有关于退还差价的特别约定。如果合同中没有约定退还差价，那么对方要求退还差价可能缺乏合同依据。
若合同中未明确约定工程价款调整方式：
- 如果合同中没有明确约定工程价款的调整方式，那么双方应当协商确定。在协商过程中，可以参考市场行情、行业惯例等因素。
- 如果对方要求加价，并且双方协商一致同意加价，那么加价是合法的。但是，同样地，要求把加价后的差价退回，也需要双方协商一致。如果协商不成，对方单方面要求退还差价可能缺乏法律依据。
二、合同无明确约定，但存在法定调整情形的情况
根据法律规定或行业惯例调整价款：
- 在某些情况下，即使合同中没有明确约定工程价款的调整方式，也可能根据法律规定或行业惯例进行调整。例如，因不可抗力导致工程成本增加，或者因设计变更导致工程量增加等。
- 在这些情况下，如果对方要求加价，并且加价的原因符合法律规定或行业惯例，那么加价可能是合法的。但是，要求退还差价仍然需要双方协商一致或根据法律规定来确定。
对方恶意加价或退还差价：
- 如果对方在没有合理依据的情况下要求加价，或者加价后无正当理由要求退还差价，这可能构成违约或欺诈行为。
- 在这种情况下，你可以拒绝对方的要求，并依据合同约定或法律规定维护自己的合法权益。例如，可以要求对方继续履行合同、赔偿损失等。
三、法律建议
审查合同条款：
- 首先，你需要仔细审查合同条款，特别是关于工程价款及调整方式的约定。如果合同中有明确约定，那么双方应当按照合同约定执行。
与对方协商：
- 如果合同中没有明确约定或者约定不明确，你可以与对方进行协商，尝试达成一致意见。在协商过程中，可以参考市场行情、行业惯例等因素。
寻求法律帮助：
- 如果双方无法协商一致，或者你认为对方的要求缺乏法律依据，你可以寻求法律帮助。例如，可以咨询专业律师（即我，袁满律师，专注于合同纠纷等领域），了解自己的权利和义务，以及可能的法律后果。
保留证据：
- 在处理此类纠纷时，保留相关证据非常重要。例如，可以保留合同文本、往来函件、支付凭证等证据，以便在需要时证明自己的主张。
总之，对方要求工程加价后把差价退回是否合法，取决于双方合同的具体约定以及加价和退差价的具体情形。在处理此类纠纷时，建议你仔细审查合同条款、与对方协商、寻求法律帮助并保留相关证据。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。