结论：婚介退费后要求你退还合同，而你未退还且婚介打电话到你工作单位，这一行为是否违法需分情况讨论。一般来说，婚介打电话到你工作单位本身不一定直接构成违法，但如果存在骚扰、侵犯隐私等情形，则可能违法。
分析如下：
合同退还问题：
- 合同是双方意思表示一致的产物，一旦成立并生效，对双方均具有约束力。若婚介要求退还合同，通常意味着其可能希望解除或终止合同关系。然而，合同是否应退还，并非单纯由一方决定，而是需根据合同的具体内容、双方约定以及相关法律法规来判断。
- 如果合同中有明确约定退还条款，或者双方已就合同退还达成一致意见，那么你应当按照约定或协商结果退还合同。若未约定或未达成一致，则婚介无权单方面要求你退还合同。
婚介打电话到你工作单位的行为：
- 一般情况：婚介为了与你沟通合同退还事宜，打电话到你工作单位，这一行为本身并不直接构成违法。但是，如果婚介在电话中进行了不当言论或行为，如骚扰、威胁、侵犯隐私等，则可能违反相关法律法规。
- 侵犯隐私：如果你的工作单位信息并非公开信息，且婚介通过不正当手段获取并用于打电话给你，这可能构成侵犯你的隐私权。根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。
- 骚扰行为：如果婚介频繁打电话到你工作单位，干扰你的正常工作秩序，或者使用侮辱、诽谤等言语进行骚扰，这可能违反《中华人民共和国治安管理处罚法》的相关规定，构成骚扰行为。
建议：
- 与婚介沟通：首先，你可以尝试与婚介进行友好沟通，明确表达你的立场和诉求。如果合同中有明确约定或双方已就合同退还达成一致意见，你可以考虑退还合同；如果未约定或未达成一致，你可以拒绝婚介的无理要求。
- 保护个人隐私：如果婚介通过不正当手段获取了你的工作单位信息，或者你在与婚介的沟通中感到隐私被侵犯，你可以要求婚介立即停止侵权行为，并可以考虑向相关部门投诉或寻求法律帮助。
- 应对骚扰行为：如果婚介的电话行为构成了骚扰或侵犯隐私等违法行为，你可以保留相关证据（如通话记录、录音等），并向公安机关报案或向法院提起诉讼，要求婚介承担相应的法律责任。
后续行动：
- 如果你决定采取法律行动，建议咨询专业律师（即我本人，崔瑛律师，专注于刑事辩护、合同纠纷领域），以便更准确地评估你的案件情况并制定合适的法律策略。
- 在处理此类纠纷时，保持冷静和理性至关重要。避免与婚介发生不必要的冲突或争执，以免加剧矛盾或引发更严重的法律后果。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。