结论前置：针对您提出的问题，是否可以起诉“老公外面的那个人”以及是否需要还钱，需要分情况讨论。
关于是否可以起诉“老公外面的那个人”
- 若以离婚为前提，主张损害赔偿：根据《民法典》第一千零九十一条的规定，有重婚、与他人同居等重大过错导致离婚的，无过错方有权请求损害赔偿。但这里的“损害赔偿”是针对您老公的过错行为，向您老公主张，而非直接向“老公外面的那个人”主张。不过，在离婚诉讼中，若您能证明老公与他人存在不正当关系，且该关系对婚姻造成了严重破坏，这可以作为您主张离婚及损害赔偿的有力证据。
- 若以老公向“外面的那个人”借款未用于家庭共同生活为由，主张借款无效或非共同债务：这并非直接起诉“老公外面的那个人”侵权或违约，而是通过否认债务的共同性质，来避免自己承担还款责任。这需要在后续讨论是否需要还钱的部分详细阐述。
- 特殊情况：若“老公外面的那个人”明知您老公有配偶仍与其以夫妻名义共同生活，可能构成重婚罪：根据《刑法》第二百五十八条的规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。但这种情况较为特殊，且需要充分的证据证明“以夫妻名义共同生活”，如共同居住、公开以夫妻身份出席社交活动等。若构成重婚罪，您可以向公安机关报案，由公安机关立案侦查，而非直接向法院起诉“老公外面的那个人”民事侵权。
关于是否需要还钱
- 若借款被认定为夫妻共同债务：根据《民法典》第一千零六十四条的规定，夫妻双方共同签名或者夫妻一方事后追认等共同意思表示所负的债务，以及夫妻一方在婚姻关系存续期间以个人名义为家庭日常生活需要所负的债务，属于夫妻共同债务。若您老公向“外面的那个人”的借款被认定为夫妻共同债务，那么您可能需要承担还款责任。但若您能证明该借款并未用于家庭共同生活，如借款直接转给了“外面的那个人”用于其个人消费、投资等，且您对此并不知情也未追认，那么该借款可能不被认定为夫妻共同债务，您无需承担还款责任。
- 若借款被认定为您老公的个人债务：若借款是您老公以个人名义超出家庭日常生活需要所负，且您未签字或事后追认，同时该借款也未用于家庭共同生活，那么该借款应被认定为您老公的个人债务，您无需承担还款责任。
建议与后续行动：
- 收集证据：包括但不限于借款合同、转账记录、聊天记录、证人证言等，以证明借款的事实、金额、用途以及您是否知情或追认。
- 咨询专业律师：由于每个案件的具体情况都不同，且法律适用和证据认定都需要专业的法律知识和经验，因此建议您咨询专业律师，以便更准确地评估您的法律风险和制定应对策略。
- 考虑离婚及损害赔偿：若您决定离婚，且能证明您老公存在重大过错，如与他人同居等，您可以向法院主张离婚及损害赔偿。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。