结论：别人输了钱问你要回去是否违法，需结合具体情况判断，一般而言，若涉及非法债务或不当得利，则可能违法；若为合法债务且符合法定条件，则可能不违法。以下从不同角度进行分析：

1. 若涉及非法债务（如赌博债务）

• 法律背景：根据我国相关法律规定，赌博属于违法行为，因赌博产生的债务不受法律保护。若对方因赌博输钱后要求你返还，该请求缺乏法律依据。
• 法律后果：若你拒绝返还，对方无法通过法律途径强制要求你支付；若你主动返还，可能面临无法追回的风险，且可能间接助长非法行为。
• 建议：明确拒绝对方要求，并告知其赌博债务不受法律保护。若对方持续骚扰，可保留证据并报警处理。

2. 若涉及合法债务但对方主张不当得利

• 法律背景：不当得利是指没有合法依据，使他人受到损失而自己获得了利益。若对方能证明你因某种原因（如错误转账、欺诈等）获得了不应得的利益，可能主张返还。
• 法律分析：
  • 错误转账：若你因对方操作失误（如输入错误账号）收到款项，对方有权要求返还，否则构成不当得利。
  • 欺诈或胁迫：若对方能证明你通过欺诈、胁迫等手段获取其财物，不仅可要求返还，还可能追究你的法律责任。
• 建议：若你确信自己获得款项有合法依据（如借款、赠与等），可拒绝返还并要求对方提供证据；若存在争议，建议协商解决或通过法律途径解决。

3. 若涉及借款合同纠纷

• 法律背景：若对方输钱后要求你返还的款项实为借款，且双方存在借款合同或口头约定，则对方有权要求你按约定还款。
• 法律分析：
  • 合同效力：若借款合同合法有效，你应按约定履行还款义务；若合同存在无效情形（如欺诈、胁迫等），则对方无权要求还款。
  • 还款条件：若合同约定了还款期限、利息等条款，你应按约定执行；若未约定或约定不明，可参照相关法律规定处理。
• 建议：审查借款合同或相关证据，确认合同效力及还款义务；若存在争议，建议通过协商或法律途径解决。

4. 其他特殊情况

• 赠与关系：若你曾明确表示将款项赠与对方，且对方已接受，则对方无权要求返还。
• 共同消费：若输钱行为属于双方共同参与的娱乐活动（如打牌、赌博等），且款项已用于共同消费，则对方无权要求你单独承担损失。

总结与建议：

• 别人输了钱问你要回去是否违法，需结合具体事实和法律关系判断。
• 若涉及非法债务或不当得利，建议明确拒绝并保留证据；若涉及合法债务或合同纠纷，建议审查相关证据并协商解决。
• 遇到复杂情况时，建议及时咨询专业律师（即我本人），以便更准确地分析法律关系和制定应对策略。

如有具体案情或证据材料，可直接向我咨询，我将为你提供更详细的法律分析。