结论：您去向对方要钱（即要求偿还借款）这一行为本身并不犯法，但能否要回钱以及是否涉及其他法律问题，取决于多个因素。以下从不同角度为您详细分析：
一、从借贷关系的合法性角度
借贷关系合法有效：
- 如果您在出借资金时，并不知晓对方借款是用于赌博等违法活动，且借贷行为符合正常的民间借贷法律关系构成要件（如双方自愿、意思表示真实、不违反法律强制性规定等），则此借贷行为通常合法有效。
- 在这种情况下，您有权要求对方按约定偿还借款，对方也有义务履行还款责任。您去要钱是正当的维权行为，不犯法。
借贷关系可能无效：
- 如果您明知对方借款用于赌博仍出借，根据相关法律规定，此类借贷关系可能因违反法律强制性规定或公序良俗而无效。
- 借贷关系无效后，您可能无法依据借贷合同要求对方偿还借款，但您可以主张对方返还因无效借贷关系而取得的财产（即您出借的资金）。不过，由于对方借款用于赌博，这一主张可能面临一定困难，因为对方可能已经将资金挥霍一空。
二、从法律责任的角度
您不承担法律责任：
- 如果您只是单纯地出借资金，并未参与赌博活动，也未为赌博提供其他条件（如提供赌博场所、工具等），则您通常不会因对方借款用于赌博而承担法律责任。
- 您去要钱的行为，只要不采取非法手段（如暴力、威胁、恐吓等），就不犯法。
您可能承担法律责任：
- 如果您明知对方借款用于赌博仍出借，且您的出借行为与赌博活动的组织、运营等密切相关，达到严重程度，您可能会构成赌博罪的共犯，面临刑事处罚。
- 此外，如果您在要钱过程中采取非法手段，如暴力催收、非法拘禁等，您可能会因这些行为而承担相应的法律责任。
三、从实际操作的建议角度
收集证据：
- 在要求对方还款前，建议您先收集相关证据，如借条、转账记录、聊天记录等，以证明借贷关系的存在和对方借款的用途。
协商解决：
- 您可以先尝试与对方协商解决还款问题，看对方是否有还款意愿和能力。
法律途径：
- 如果协商无果，您可以考虑通过法律途径解决，如向法院提起诉讼或申请仲裁等。在诉讼或仲裁过程中，您需要提供充分的证据来支持您的主张。
避免非法手段：
- 在要钱过程中，请务必遵守法律法规，不要采取非法手段。否则，您可能会因自己的违法行为而承担法律责任。
最后提醒：赌博是违法行为，不仅可能导致个人和家庭的经济破产，还可能引发一系列的法律问题和社会问题。因此，我建议您远离赌博活动，并谨慎处理与赌博相关的借贷事宜。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。