结论：借款是否需要偿还，并不取决于对方是否声称借款用于“来牌”（赌博）活动，而是取决于借款合同本身的合法性以及借款的实际用途。如果借款合同合法有效，且借款未被用于非法活动，那么借款人通常需要偿还借款。
详细分析：
借款合同的合法性：
- 借款合同是双方自愿达成的协议，只要合同内容不违反法律法规的强制性规定，不违背公序良俗，就是合法有效的。
- 如果借款合同本身合法有效，那么借款人就有义务按照合同约定的期限和方式偿还借款。
借款的实际用途：
- 借款的实际用途是判断借款是否合法的重要依据。如果借款被用于非法活动，如赌博，那么该借款合同可能因违反法律法规的强制性规定而无效。
- 然而，仅仅因为对方声称借款用于“来牌”活动，并不能直接证明借款确实被用于了赌博。需要有其他证据来支持这一主张，如转账记录、聊天记录、证人证言等。
- 如果借款确实被用于了赌博等非法活动，那么借款人可能不需要偿还该借款，因为该借款合同可能无效。但这种情况需要借款人提供充分的证据来证明。
法律后果：
- 如果借款合同合法有效，且借款未被用于非法活动，借款人拒绝偿还借款，出借人可以通过法律途径追讨借款，如向法院提起诉讼。
- 如果借款被用于非法活动，且借款人能够提供充分证据证明这一点，那么借款人可能不需要偿还借款。但借款人也可能面临因参与非法活动而受到的法律制裁。
建议：
- 对于出借人：在出借资金时，应确保借款合同的合法性和有效性，并了解借款的实际用途。如果怀疑借款可能被用于非法活动，应谨慎出借或拒绝出借。
- 对于借款人：应遵守法律法规和借款合同的约定，按时偿还借款。如果借款确实被用于了非法活动，应主动与出借人沟通并寻求解决方案，同时做好承担法律责任的准备。
特殊情况说明：
- 如果对方确实以“来牌”为借口骗取借款，且借款并未实际用于赌博活动，而是被对方挪作他用或挥霍一空，那么这可能构成诈骗行为。在这种情况下，借款人可以向公安机关报案，并寻求法律帮助来追讨借款或维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。