结论：合同履约保证金不按时退回，约定收违约金每日千分之五是否合法，需结合具体情况判断，若该违约金过分高于实际损失，可能被法院或仲裁机构调整至合理范围。以下从不同角度详细分析：
一、违约金约定的合法性基础
根据《中华人民共和国民法典》第五百八十五条：“当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。”
这意味着，双方在合同中约定违约金是合法的，但违约金的数额应当与违约造成的损失相当，不能过分高于实际损失。
二、每日千分之五违约金是否过高的判断
与实际损失对比：
- 若因保证金未按时退回，给守约方造成的实际损失（如资金占用期间的利息损失、因资金不足导致的其他经济损失等）远低于每日千分之五的违约金数额，则该违约金可能被认定为过分高于实际损失。
- 例如，若保证金为10万元，每日千分之五的违约金即为500元/日，一年下来违约金高达18.25万元，这显然远超过了因资金占用可能产生的合理利息损失。
行业惯例与公平原则：
- 法院或仲裁机构在判断违约金是否过高时，还会考虑行业惯例、交易习惯以及公平原则等因素。
- 若每日千分之五的违约金在行业内属于罕见的高额，且明显违背了公平原则，那么该违约金条款很可能被调整。
三、法律后果与建议
法律后果：
- 若违约金被认定为过分高于实际损失，法院或仲裁机构有权根据当事人的请求予以适当减少。
- 减少后的违约金数额通常应与违约造成的实际损失相当，以体现违约金的补偿性功能。
建议：
- 对于守约方：在签订合同时，应合理预估违约可能造成的损失，并据此约定违约金数额。若发现违约金过高，可在诉讼或仲裁过程中提出调整请求。
- 对于违约方：若认为约定的违约金过高，应积极收集证据证明实际损失远低于违约金数额，并在诉讼或仲裁过程中提出调整请求。
- 双方均可：在合同履行过程中，若发生可能导致违约金支付的情形，应及时沟通协商，寻求友好解决方案，避免不必要的法律纠纷。
四、具体计算示例（假设情景）
假设保证金为10万元，因违约导致资金占用6个月（180天），实际损失为资金占用期间的利息损失（按同期银行贷款利率计算，假设为年利率6%）。
- 实际损失计算：\(100,000 \times 6\% \div 365 \times 180 \approx 2,958.90\)（元）
- 约定违约金：\(100,000 \times 0.5\% \times 180 = 90,000\)（元）
显然，约定违约金远高于实际损失，法院或仲裁机构很可能会根据当事人的请求将违约金调整至与实际损失相当的水平。
有问题可以直接向我咨询，我会结合你的具体情况，给出更详细的法律建议。