结论：输了的钱一般不能退回给被借的人，但具体是否需要退还以及退还的方式，需根据借款的性质、用途以及相关法律规定来综合判断。以下从不同角度进行分析：
一、借款性质与用途
合法借款：
- 如果借款是合法的，且借款人明确告知出借人借款将用于赌博（尽管赌博行为本身违法，但借款行为本身可能因出借人明知而具有一定的合法性外观，不过这并不改变赌博行为的违法性），那么从合同法的角度来看，借款合同可能因违反公序良俗而无效。但在此情况下，出借人通常难以通过法律途径要求借款人返还借款，因为双方都有过错。然而，这并不意味着借款人可以合法地保留这些钱，而是说出借人可能无法通过法律手段强制借款人返还。
- 如果借款时借款人并未告知出借人借款将用于赌博，而出借人也不知情，那么借款合同本身可能是有效的。但借款人因赌博输掉的钱，属于非法所得或挥霍，出借人仍然难以通过法律途径要求借款人返还这些钱，因为赌博行为本身不受法律保护。
非法借款（如高利贷）：
- 如果借款属于高利贷等非法借款，那么借款合同本身是无效的。但在此情况下，出借人可能面临法律制裁，而借款人虽然不需要按照高利贷的利率返还借款，但通常仍然需要返还本金（除非本金也涉及非法活动）。然而，对于因赌博输掉的钱，借款人同样难以通过法律途径要求出借人“退回”或“补偿”。
二、法律后果与责任
赌博行为的法律后果：
- 赌博是违法行为，参与者可能面临行政处罚（如罚款、拘留）或刑事处罚（如赌博罪）。因赌博输掉的钱，属于非法所得或挥霍，不受法律保护。
借款人的责任：
- 借款人因赌博输掉的钱，无法通过法律途径要求出借人退回。借款人可能需要承担因赌博行为带来的法律后果，如行政处罚或刑事处罚。
- 如果借款人无法偿还合法债务（如非赌博相关的债务），可能需要与出借人协商解决，或面临出借人通过法律途径追讨债务的风险。
出借人的责任：
- 如果出借人明知借款人将借款用于赌博而仍然出借，可能面临一定的法律风险，如被认定为共同违法或承担一定的民事责任（尽管这种情况在司法实践中较为罕见）。
- 出借人通常无法通过法律途径要求借款人返还因赌博输掉的钱，因为赌博行为本身不受法律保护。
三、特殊情况与建议
特殊情况：
- 如果借款人能够证明出借人存在欺诈、胁迫等行为，导致借款人被迫借款用于赌博，那么借款人可能有机会通过法律途径维护自己的权益。但这种情况在司法实践中非常罕见，且需要充分的证据支持。
建议：
- 对于借款人而言，应避免参与赌博等违法行为，以免陷入法律困境和财务危机。
- 对于出借人而言，应谨慎出借资金，特别是当借款人提出将借款用于高风险或非法活动时，应坚决拒绝。
- 如果双方因借款问题产生纠纷，建议通过协商、调解等和平方式解决，避免激化矛盾。如果无法协商解决，可以寻求法律援助或咨询专业律师，以了解自己的权益和义务，并寻求合法的解决途径。
总结：输了的钱一般不能退回给被借的人，因为赌博行为本身违法且不受法律保护。借款人和出借人都应遵守法律法规，避免参与赌博等违法行为，以免陷入法律困境和财务危机。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。