结论：您描述的行为是否犯法，取决于您与对方之间的法律关系以及您使用这笔钱的具体性质和后果。以下从不同角度进行分析。
一、法律关系角度
如果双方存在明确的委托投资关系：
- 在这种情况下，您作为受托人，有义务按照委托人的指示处理投资事务，并在投资回报后及时将款项返还给委托人。
- 如果您未经委托人同意，擅自将投资回报款用于个人用途，这可能构成违约行为，甚至可能涉及侵占或挪用资金等违法行为，具体取决于款项的数额和情节的严重性。
如果双方只是口头约定或没有明确的法律关系：
- 即便如此，如果对方能够证明这笔钱是其投资所得，并且您未经其同意使用了这笔钱，您仍然可能面临民事上的赔偿责任。
- 在极端情况下，如果您的行为被认定为恶意侵占或诈骗，还可能涉及刑事责任。
二、行为性质和后果角度
如果您的行为构成侵占：
- 侵占罪是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。
- 如果您使用的款项数额较大，且拒不返还给对方，可能构成侵占罪，面临刑事处罚。
如果您的行为构成挪用资金：
- 挪用资金罪通常涉及公司、企业或其他单位的工作人员，利用职务上的便利，挪用本单位资金归个人使用或借贷给他人。
- 如果您与对方之间存在某种形式的资金管理或使用关系，且您擅自挪用了对方的资金，可能构成挪用资金罪（如果符合该罪的其他构成要件）。
如果您的行为只是民事违约：
- 如果双方之间存在合同关系，且您违反了合同中的约定，擅自使用了对方的资金，那么您可能只是面临民事上的违约责任，如赔偿损失等。
三、建议和后果
- 建议：无论您与对方之间的法律关系如何，都建议您尽快与对方沟通，说明情况，并尝试协商解决。如果无法协商解决，或者对方已经采取了法律行动，您应当及时咨询专业律师，了解自己的法律权利和义务，以及可能面临的法律后果。
- 后果：根据您的行为性质和后果的严重性，您可能面临民事赔偿、行政处罚甚至刑事处罚。因此，务必认真对待此事，避免事态进一步恶化。
总结：您描述的行为是否犯法，取决于多种因素，包括您与对方之间的法律关系、您使用款项的具体性质和后果等。因此，无法直接给出是否犯法的明确结论。但无论如何，都建议您尽快与对方沟通并尝试协商解决，如果无法解决，则应当及时咨询专业律师。如果您有任何法律问题，可以直接向我咨询。