结论：中介未经允许调换存放物业那边的钥匙，这种行为可能构成侵权，您可以追究其责任。具体能否追究以及追究的方式，需根据实际情况和法律规定来判断。
分析说明：
从侵权责任角度分析：
- 钥匙作为您个人财产的一部分，其保管和使用权应由您本人或您授权的人行使。中介未经您的允许，擅自调换钥匙，侵犯了您对钥匙的保管和使用权，可能构成侵权。
- 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。因此，如果中介的行为给您造成了损失，您有权要求其承担相应的赔偿责任。
从合同关系角度分析（如果存在相关合同）：
- 如果您与中介之间存在关于钥匙保管或使用的合同关系，那么中介的行为可能构成违约。您可以根据合同条款，要求中介承担违约责任，如赔偿损失、恢复原状等。
- 需要注意的是，合同的具体条款和双方的权利义务关系，将直接影响违约责任的认定和承担方式。
从实际操作角度分析：
- 在追究中介责任之前，建议您先与中介进行沟通，了解其调换钥匙的原因和目的，并尝试通过协商解决问题。
- 如果协商无果，您可以收集相关证据（如钥匙调换前后的照片、视频、证人证言等），向物业管理部门投诉或向法院提起诉讼，要求中介承担相应的法律责任。
行动建议：
- 保留证据：尽快收集并保留与钥匙调换相关的所有证据，包括但不限于钥匙调换前后的照片、视频、与中介的沟通记录等。
- 与中介沟通：尝试与中介进行友好沟通，了解其调换钥匙的原因和目的，并表达您的不满和诉求。
- 寻求帮助：如果沟通无果或中介拒绝承担责任，您可以向物业管理部门投诉或咨询专业律师（即我，杨榭律师，专注于婚姻家庭、合同纠纷、房产纠纷领域），了解具体的法律途径和维权策略。
后续考虑：
- 在处理此类纠纷时，除了考虑法律责任外，还应考虑实际损失和维权成本。如果损失较小或维权成本较高，您可能需要权衡利弊后做出决策。
- 为了避免类似纠纷的再次发生，建议您在与中介或其他第三方签订合同时，明确约定钥匙的保管和使用方式，以及违约责任和赔偿方式等条款。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。