结论：调查流水一年多之前借的钱但及时都退回了，这一行为本身并不直接构成违法，但具体是否违法还需根据资金来源、退回方式及是否存在其他违法行为来综合判断。

分析说明：

1. 资金来源的合法性：

   • 如果借款的资金来源是合法的，比如个人储蓄、合法收入等，且借款行为本身也是合法的（如双方自愿、利率合法等），那么即使后来及时退回了借款，这一行为本身并不违法。
   • 如果借款的资金来源是非法的，比如涉及诈骗、盗窃、贪污等犯罪所得，那么即使后来退回了借款，也可能因为资金来源的非法性而面临法律责任。不过，这种情况下的法律责任主要针对的是资金来源的非法性，而非借款和退回行为本身。

2. 退回方式的合法性：

   • 如果退回借款的方式是合法的，比如通过银行转账、现金交付等合法手段，且没有侵犯他人的合法权益，那么退回行为本身是合法的。
   • 如果退回借款的方式是非法的，比如通过威胁、恐吓、欺诈等手段迫使对方接受退回，那么这种退回行为就可能构成违法，甚至犯罪。

3. 是否存在其他违法行为：

   • 除了借款和退回行为本身，还需要考虑是否存在其他与借款相关的违法行为，比如高利贷、非法集资、洗钱等。如果存在这些违法行为，那么即使借款和退回行为本身看似合法，也可能因为与其他违法行为的关联而面临法律责任。

特殊场景：

• 在某些特定情况下，即使借款和退回行为本身看似合法，也可能因为违反特定法律法规或监管要求而面临法律责任。例如，如果借款行为涉及金融监管领域的规定，如未经批准从事金融业务、违反反洗钱规定等，那么即使后来及时退回了借款，也可能因为违反这些规定而面临处罚。

行动建议：

• 确保资金来源合法：在进行任何借款行为前，应确保资金来源的合法性，避免涉及非法资金。
• 遵守法律法规和监管要求：在进行借款和退回行为时，应遵守相关法律法规和监管要求，确保行为的合法性。
• 保留相关证据：为了证明借款和退回行为的合法性，应保留好相关证据，如借款合同、转账记录、现金交付凭证等。
• 咨询专业律师：如果对借款和退回行为的合法性存在疑问，或者面临相关法律纠纷，应及时咨询专业律师，以获取专业的法律意见和帮助。

法律背景：

• 根据《中华人民共和国刑法》的相关规定，任何犯罪行为都需要具备主观故意和客观行为两个要件。在借款和退回行为中，如果主观上没有犯罪故意，客观上也没有实施犯罪行为，那么就不构成犯罪。
• 同时，根据《中华人民共和国民法典》的相关规定，合法的借贷关系受法律保护。只要借款和退回行为本身合法，且没有侵犯他人的合法权益，那么这些行为就是受到法律保护的。

如有任何进一步疑问或需要法律帮助，请直接向我咨询。