结论：是否需要偿还借款，取决于多个因素，包括借款时是否知晓资金用途、借款合同效力以及是否存在其他法定免责情形等。以下从不同角度进行分析：
一、借款合同效力角度
若借款合同有效：
- 即便借款用于非法赌博，如果出借人（即“小三”）在借款时并不知情，且借款合同本身不存在其他无效情形（如欺诈、胁迫等），那么该借款合同仍然有效。
- 根据《民法典》的相关规定，有效的借款合同对双方当事人具有法律约束力，借款人（即“老公”）有义务按照合同约定偿还借款。
若借款合同无效：
- 如果出借人明知借款用于非法赌博而仍然出借，那么该借款合同可能因违反法律、行政法规的强制性规定或公序良俗而无效。
- 在合同无效的情况下，根据《民法典》的规定，因该合同取得的财产应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方因此所受到的损失；各方都有过错的，应当各自承担相应的责任。
二、出借人知情情况角度
出借人不知情：
- 如果出借人在借款时并不知道借款将用于非法赌博，且没有其他过错行为，那么其有权要求借款人按照合同约定偿还借款。
- 借款人不能以借款用于非法活动为由拒绝偿还，因为这并不影响借款合同的效力（除非合同本身因其他原因无效）。
出借人知情：
- 如果出借人在借款时明知借款将用于非法赌博，那么其可能面临一定的法律风险。
- 在这种情况下，借款合同可能因违反法律、行政法规的强制性规定或公序良俗而无效，出借人可能无法要求借款人偿还借款，甚至可能因参与非法活动而受到法律制裁。
三、法律建议
对于出借人：
- 在出借资金前，应充分了解借款人的借款用途和还款能力，避免将资金出借给用于非法活动的人。
- 如果发现借款人将借款用于非法活动，应及时采取措施保护自己的合法权益，如要求借款人提前还款、解除合同等。
对于借款人：
- 应遵守法律法规，不得将借款用于非法活动。
- 如果因特殊原因确实需要将借款用于非法活动（这本身是不被允许的），应提前告知出借人并征得其同意（但这并不改变借款用于非法活动的违法性）。
- 如果已经因借款用于非法活动而面临法律纠纷，应积极配合相关部门调查处理，并承担相应的法律责任。
进一步思考：在实际操作中，判断出借人是否知情以及借款合同是否有效往往需要综合考虑多种因素，如双方当事人的陈述、证据材料、交易习惯等。因此，在面临类似纠纷时，建议及时咨询专业律师以获取更具体的法律建议。如果你有相关法律问题，可以直接向我咨询。