结论：能否要回交给中介的服务费，需视具体情况而定，主要取决于您与中介签订的合同条款以及对方违约的具体情形。以下从不同角度为您详细分析：

1. 合同条款的约定：

   • 如果您与中介签订的合同中明确约定，在对方违反协议规定未购买房屋的情况下，中介服务费应退还或部分退还，那么您有权依据合同条款要求中介退还相应费用。
   • 若合同中没有明确约定此情形下的服务费处理方式，则需要进一步分析其他因素。

2. 中介服务的完成情况：

   • 如果中介已经按照合同约定完成了全部服务，包括但不限于提供房源信息、协助谈判、办理相关手续等，且其服务与对方违约无直接关联，那么您可能难以要求中介全额退还服务费。
   • 如果中介的服务存在瑕疵或未完全履行合同义务，且这与对方违约有一定关系，您可以据此与中介协商退还部分或全部服务费。

3. 对方违约的责任归属：

   • 对方违反协议规定未购买房屋，这是对方的行为导致的违约。如果中介在此过程中没有过错或违约行为，那么要求中介承担对方违约的责任可能缺乏法律依据。
   • 但如果中介在提供服务过程中存在过错或疏忽，导致对方违约或增加了违约的可能性，您可以考虑要求中介承担相应的责任，包括退还部分服务费。

4. 实际操作建议：

   • 首先，仔细审查您与中介签订的合同，了解合同中关于服务费退还的条款。
   • 其次，与中介进行沟通，说明对方违约的情况，并表达您希望退还服务费的意愿。在沟通过程中，保持冷静和理性，尽量以协商的方式解决问题。
   • 如果协商无果，您可以考虑通过法律途径解决争议。在此之前，建议收集相关证据，如合同、沟通记录、对方违约的证据等，以支持您的主张。

法律背景： 根据《中华人民共和国民法典》的相关规定，合同双方应当按照约定履行自己的义务。如果一方违约，另一方有权要求违约方承担违约责任。同时，合同的内容由当事人约定，一般包括当事人的姓名或者名称和住所、标的、数量、质量、价款或者报酬、履行期限、地点和方式、违约责任、解决争议的方法等条款。因此，在处理此类纠纷时，合同条款是重要的法律依据。

后续行动建议：

• 如果您决定通过法律途径解决争议，建议尽快咨询专业律师（即向我咨询），以便更准确地评估您的权益和制定合适的诉讼策略。
• 在处理纠纷过程中，注意保留好所有相关证据，以便在需要时提供证明。

希望以上分析能对您有所帮助。如果您有任何其他问题或需要进一步的法律咨询，请随时向我提问。