结论：协议中约定违约金按投资额万分之五作为罚金，从法律角度来看，这样的约定本身并不违法，但是否合理及能否得到法院支持，需结合具体情况分析。以下从不同角度为你详细阐述：
法律对违约金的基本规定
根据《中华人民共和国民法典》的相关规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。这意味着，你们在协议中约定违约金是合法的，法律尊重双方当事人的意思自治。
万分之五违约金的合理性分析
从市场惯例和行业水平看：
- 万分之五的违约金比例，在不同行业和交易中可能有不同的合理性。在投资理财领域，如果这一比例与市场普遍接受的违约金水平相当，或者与类似交易中的违约金约定相似，那么它可能被认为是合理的。
- 建议：你可以了解一下同行业或类似交易中的违约金约定情况，以评估你们协议中的违约金比例是否合理。
从实际损失角度看：
- 违约金的设定通常旨在补偿守约方因违约行为所遭受的实际损失。如果万分之五的违约金能够合理覆盖你因投资款未按时退还而可能遭受的损失（如资金占用成本、交易机会丧失等），那么它可能是合理的。
- 计算公式示例：假设你的投资额为100万元，逾期退还的天数为30天，那么违约金为：\(100万 \times 0.0005 \times 30天 = 1500元\)。你需要评估这1500元是否能够合理覆盖你的实际损失。
- 建议：你可以计算一下因投资款未按时退还而可能遭受的实际损失，并与协议中的违约金进行比较。
从法院调整违约金的可能性看：
- 如果约定的违约金过分高于或低于实际损失，法院有权根据当事人的请求予以适当调整。这意味着，即使你们在协议中约定了万分之五的违约金，如果法院认为这一比例过高或过低，它可能会进行调整。
- 建议：在签订协议时，你可以考虑设定一个相对合理的违约金比例，以减少未来可能因法院调整而带来的不确定性。
后续行动建议
- 与对方协商：如果投资款未按时退还，你可以首先尝试与对方协商，了解逾期退还的原因，并寻求解决方案。在协商过程中，你可以提及协议中的违约金约定，以促使对方尽快履行退款义务。
- 考虑法律途径：如果协商无果，你可以考虑通过法律途径来维护自己的权益。在提起诉讼或申请仲裁前，你需要准备好相关证据（如协议、付款凭证、沟通记录等），以证明对方存在违约行为，并计算好应支付的违约金数额。
最后，协议中约定违约金按投资额万分之五作为罚金是合法的，但是否合理及能否得到法院支持需结合具体情况分析。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。