结论前置：你退钱的行为本身并不构成犯罪，但如果被认定为参与赌博或为赌博提供资金，则可能面临法律责任。对方告你，可能涉及多种法律后果，具体需根据案件事实来判断。

分析说明：

1. 关于赌博的法律性质：

   • 赌博在我国是违法行为，不仅可能面临行政处罚，如罚款、拘留等，还可能构成犯罪，如开设赌场罪、赌博罪等。
   • 如果你只是单纯地退还了他人赌博输掉的钱，而没有其他参与赌博或为赌博提供资金的行为，那么你的这一行为本身并不构成犯罪。

2. 对方告你可能涉及的法律问题：

   • 诈骗：如果对方声称你以非法占有为目的，通过虚构事实或隐瞒真相的方式骗取了他的钱财，那么你可能面临诈骗的指控。但这种情况下，你需要证明你的退款行为是出于善意，而非诈骗。
   • 赌博相关犯罪：如果对方能够证明你参与了赌博或为赌博提供了资金（包括退还赌资的行为被认定为提供资金的一种形式），那么你可能面临赌博相关犯罪的指控。
   • 民事纠纷：如果对方只是要求你返还他输掉的钱，而没有提出刑事指控，那么这可能只是一起民事纠纷。在这种情况下，你需要根据双方的约定和法律规定来判断是否需要返还以及返还的金额。

3. 你的应对策略：

   • 保留证据：收集并保留所有与退款相关的证据，如转账记录、聊天记录等，以证明你的退款行为是出于善意且合法。
   • 咨询律师：尽快咨询专业律师（如我），了解案件的具体情况和可能面临的法律风险，以便制定合适的应对策略。
   • 积极配合调查：如果警方或法院介入，你应积极配合调查，如实陈述事实，并提供相关证据。

总结：你退钱的行为本身并不构成犯罪，但如果对方能够证明你参与了赌博或为赌博提供了资金，则可能面临法律责任。因此，你需要尽快咨询专业律师，了解案件的具体情况和可能面临的法律风险，并制定相应的应对策略。如果你有任何疑问或需要进一步的法律帮助，请随时向我提问。