结论前置：
- 若借款行为本身合法且已归还，则该行为合法。
- 若借款行为存在违法情形（如高利贷、欺诈等），则即使已归还，也可能涉及违法问题。
详细分析：
首先，我们需要明确的是，借款行为本身的合法性取决于多个因素，包括但不限于借款合同的条款、借款利率是否合法、借款用途是否合法等。
借款行为合法的情况：
- 如果借款合同是双方真实意思表示，且没有违反法律法规的强制性规定（如利率未超过法定上限），那么该借款行为就是合法的。
- 在这种情况下，借款人按照合同约定使用了借款（尽管最终未用于购房），并在之后归还了借款，这一行为是符合法律规定的，不会因此产生违法问题。
借款行为可能违法的情况：
- 如果借款合同中存在高利贷条款（即利率超过法定上限），那么该借款行为可能因违反法律法规而无效。即使借款人已经归还了借款，也可能因为借款行为本身的违法性而面临法律责任。
- 另外，如果借款行为是基于欺诈、胁迫等非法手段达成的，那么该借款行为同样可能无效，并可能引发法律纠纷。
法律建议：
- 在进行任何借款行为时，务必确保借款合同的合法性和有效性。这包括但不限于审查借款合同的条款、确认借款利率的合法性、了解借款用途的限制等。
- 如果已经发生了借款行为，并且担心其合法性，建议及时咨询专业律师进行法律评估。律师可以根据具体情况提供法律意见，并帮助制定应对策略。
- 在任何情况下，都应遵守法律法规，避免参与任何违法或高风险的借款行为。
后续行动建议：
- 如果您已经归还了借款，并且确认借款行为本身是合法的，那么您可以放心，无需进一步采取法律行动。
- 如果您对借款行为的合法性存在疑虑，或者已经因此面临了法律纠纷，那么建议您立即咨询专业律师，以便及时获得法律帮助和保护。
最后，如果您有任何关于房产问题、债务债权等方面的法律问题，都可以直接向我咨询。我会根据您的具体情况，提供专业、全面的法律意见。