要回交给房屋中介的保证金（这里我们统一称为“定金”，因为在实际操作中，保证金与定金性质相似，都涉及资金退还问题），确实需要根据具体情况来判断并采取相应的措施。以下是一份详细、有深度的解答，希望能帮助您更好地理解和处理这个问题。
一、明确定金性质与合同约定
首先，您需要明确您支付给中介的定金属于哪种类型，以及合同中关于定金退还的具体约定。
定金类型：
- 订金：通常被视为预付款，法律约束较少，一般可退。
- 定金：具有担保性质，若因给付定金一方违约，定金通常不予退还；若接受定金一方违约，应双倍返还定金。
合同条款：
- 仔细审查定金协议或合同中关于定金退还的条件、违约责任等条款。
- 明确双方的权利义务，特别是关于定金退还的具体情形和程序。
二、分析可退还定金的情形
接下来，您需要分析导致您想要回定金的具体原因，以及这些原因是否符合合同或法律规定的退还条件。
不可归责于双方的事由：
- 如因政策变化、不可抗力（如自然灾害、政府行为等）导致合同无法履行，您有权主张退还定金。
中介未尽义务：
- 如果中介隐瞒房源真实情况、提供虚假信息或未按约定提供服务，您有权要求退还定金，并可能追究中介的法律责任。
协商一致解除合同：
- 如果双方达成书面解除协议，并明确约定定金退还事宜，那么按照协议执行即可。
合同无效或被撤销：
- 如果合同因欺诈、胁迫等原因被认定为无效或被撤销，您有权主张返还定金。
三、采取合理措施追回定金
根据上述分析，您可以采取以下措施来追回定金：
协商解决：
- 主动与中介沟通，说明退还理由，并提供相关证据。
- 尝试友好解决，争取中介的理解和配合。
第三方调解：
- 如果协商无果，您可以向消费者协会、房地产管理部门等机构申请调解。
- 借助中立力量的推动，可能更容易达成双方都能接受的解决方案。
法律途径：
- 仲裁：如果合同中有仲裁条款，您可以按约定提交仲裁机构裁决。
- 诉讼：向有管辖权的人民法院起诉，提供定金收据、合同文本、沟通记录等证据材料。
- 在法律程序中，您需要遵循法院的指引，积极参与诉讼活动。
四、注意事项
在处理定金退还问题的过程中，您还需要注意以下几点：
保留证据：
- 妥善保存所有与定金交付、与中介沟通等相关的凭证，如定金收据、转账记录、聊天记录、通话录音等。
- 这些证据将在协商、调解或法律程序中发挥关键作用。
及时行动：
- 发现权益受损后，应尽快采取措施，避免超过诉讼时效或其他法律限制期限。
法律咨询：
- 如果情况复杂或您不确定如何操作，建议咨询专业律师。
- 律师将为您提供针对性的法律意见，帮助您更好地保护自己的权益。
综上所述，要回交给房屋中介的定金需要根据具体情况采取不同的策略。希望这份解答能为您提供有用的指导，帮助您顺利解决问题。