结论：在未明确保证金返还时间的合同中，若对方不返还保证金，是否构成违约行为，需结合合同具体内容、双方交易习惯及法律规定综合判断。以下从不同角度进行分析：
一、合同有明确约定保证金条款但未约定返还时间
合同解释原则：
- 根据《中华人民共和国民法典》的相关规定，合同生效后，当事人就质量、价款或者报酬、履行地点等内容没有约定或者约定不明确的，可以协议补充；不能达成补充协议的，按照合同相关条款或者交易习惯确定。
- 若合同中虽未明确保证金返还时间，但其他条款或双方交易习惯中隐含了返还时间的约定，则应按照该约定执行。对方不按时返还，即构成违约。
合理期限的确定：
- 若合同及交易习惯中均未约定保证金返还时间，则应根据合同目的、交易习惯及诚信原则，确定一个合理的返还期限。
- 合理期限的确定需考虑多种因素，如合同履行情况、保证金性质、行业惯例等。若对方在合理期限内未返还保证金，可视为违约。
二、合同未约定保证金条款及返还时间
保证金性质分析：
- 若合同中未明确约定保证金条款，但一方实际支付了保证金，且对方接受了该保证金，则双方之间形成了事实上的保证金关系。
- 在此情况下，保证金的具体性质（如定金、履约保证金等）需根据合同目的、交易习惯及双方行为进行推断。
返还请求权的基础：
- 若保证金性质为履约保证金，且合同已履行完毕或符合返还条件，则支付方有权要求对方返还保证金。
- 若对方拒绝返还，支付方可依据《中华人民共和国民法典》中关于不当得利的规定，要求对方返还。此时，虽不直接构成合同违约，但对方的行为可能违反诚信原则，支付方可通过法律途径维护自身权益。
三、法律建议及后续行动
审查合同条款：
- 首先，应仔细审查合同条款，特别是关于保证金的部分，看是否有隐含的返还时间或条件。
与对方协商：
- 若合同条款不明确，可尝试与对方协商，明确保证金的返还时间或条件。协商过程中，可保留书面沟通记录，以备后续维权之需。
发送律师函或提起诉讼：
- 若协商无果，且对方确实存在不返还保证金的行为，可考虑发送律师函正式要求对方返还。
- 若对方仍拒绝返还，可依法向人民法院提起诉讼，要求对方返还保证金及可能产生的利息或损失。
注意诉讼时效：
- 在提起诉讼时，需注意诉讼时效的问题。根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。因此，应在知道或应当知道权利受到损害之日起三年内提起诉讼。
总结：在未明确保证金返还时间的合同中，对方不返还保证金是否构成违约行为，需根据合同具体内容、双方交易习惯及法律规定综合判断。若对方确实存在违约行为或违反诚信原则的行为，支付方可通过协商、发送律师函或提起诉讼等方式维护自身权益。如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。