关于“土地互换对方违约找哪个部门要赔偿”的问题，首先我们要明确，这主要涉及到的是合同纠纷的处理。以下是我根据您的问题提供的详细解答：
核心结论：土地互换对方违约时，您可以首先尝试与对方进行协商，协商不成时，可以通过向当地农村土地承包仲裁委员会申请仲裁，或者直接向人民法院提起诉讼来要求赔偿。
分析说明：
协商：
- 在发现对方违约后，第一步通常是尝试与对方进行友好协商，看是否能够达成赔偿协议。这是解决纠纷最快捷、最经济的方式。
申请仲裁：
- 如果协商不成，您可以根据《中华人民共和国农村土地承包法》的相关规定，向当地农村土地承包仲裁委员会申请仲裁。
- 仲裁委员会将会对纠纷进行公正、高效的审理，并作出裁决。如果您对裁决结果满意，可以依据裁决要求对方进行赔偿。
提起诉讼：
- 如果您对仲裁结果不满意，或者对方不履行仲裁裁决，您有权向人民法院提起诉讼。
- 在诉讼过程中，您需要提供充分的证据来证明对方的违约行为以及由此给您造成的损失，法院将会根据事实和法律作出判决，要求对方进行赔偿。
法律依据：
- 《中华人民共和国农村土地承包法》第五十五条：“因土地承包经营发生纠纷的，双方当事人可以通过协商解决，也可以请求村民委员会、乡（镇）人民政府等调解解决。当事人不愿协商、调解或者协商、调解不成的，可以向农村土地承包仲裁委员会申请仲裁，也可以直接向人民法院起诉。”
行动建议：
- 在处理此类纠纷时，建议您保留好所有与土地互换相关的证据，如互换协议、聊天记录、转账记录等，以便在协商、仲裁或诉讼过程中证明自己的主张。
- 如果您对法律程序不熟悉，或者需要更专业的法律帮助，可以向我咨询，我将为您提供专业的法律建议和支持。