结论：买卖双方约定可以取消合同且居间方收取定金是否合法，需分情况讨论，关键在于定金的性质、合同条款的合法性及各方权利义务的平衡。以下是具体分析：

1. 若定金为“立约定金”，且合同明确约定取消条件，居间方收取定金可能合法

• 法律依据：根据《民法典》第586条，定金是合同当事人一方为证明合同成立和保证合同履行而预先支付给对方的金钱。若定金性质为“立约定金”（即保证双方签订正式合同），且合同中明确约定了取消条件（如买方或卖方因特定原因可取消合同，但需支付定金作为违约金），则居间方作为合同见证方或服务提供方，收取定金可能被视为代为保管或根据约定处理定金，此时合法性取决于合同条款是否明确、公平。
• 关键点：合同需明确约定定金性质、取消条件及定金处理方式（如没收或返还），且取消条件需合理（如不可抗力、对方违约等），否则可能因显失公平或格式条款无效而影响合法性。

2. 若定金为“履约定金”，但合同未明确取消条件，居间方无权收取定金

• 法律依据：若定金性质为“履约定金”（即保证合同履行），但合同未约定取消条件，或约定“任意取消合同且居间方收取定金”，则可能违反《民法典》第587条（定金罚则）及第497条（格式条款无效情形）。此时，居间方收取定金可能被认定为无权处分或非法占有，买卖双方可要求返还。
• 关键点：履约定金的核心是约束双方履行合同，若允许任意取消且没收定金，可能损害一方利益（如卖方已准备交房但买方取消），此时合同条款可能因显失公平被撤销。

3. 居间方的角色与责任需明确，否则可能涉及无权代理或不当得利

• 法律依据：根据《民法典》第961条，居间合同是居间人向委托人报告订立合同的机会或提供订立合同的媒介服务，委托人支付报酬的合同。居间方本身无权收取定金，除非合同明确授权或居间方实际参与定金保管、处理（如作为第三方托管方）。若居间方未经授权收取定金，可能构成无权代理或不当得利，需返还定金并承担赔偿责任。
• 关键点：需审查合同中是否明确居间方的权限（如是否可代收定金、定金如何分配），若未明确，居间方收取定金的行为可能无效。

4. 实务建议：合同条款需明确、公平，避免模糊表述

• 对买卖双方：若希望约定取消合同的条件，需在合同中明确：
  1. 定金性质（立约/履约）；
  2. 取消条件（如不可抗力、对方违约、协商一致等）；
  3. 定金处理方式（没收/返还/部分返还）；
  4. 居间方的角色（是否参与定金管理）。
• 对居间方：若需收取定金，需确保：
  1. 合同明确授权；
  2. 定金处理方式合法合规；
  3. 避免与买卖双方利益冲突（如居间方同时代表买卖双方时需披露）。

总结：该问题的合法性需结合定金性质、合同条款及居间方权限综合判断。建议签订合同前咨询专业律师，确保条款合法、公平，避免纠纷。若有具体合同或场景，可进一步向我咨询细节。