结论：男方去世后，他自己借的钱能否要回，取决于该债务是否属于夫妻共同债务、是否有遗产以及遗产的分配情况。以下从不同角度进行详细分析：
一、债务性质判断
个人债务：
- 如果男方所借的钱是用于个人消费、投资等，且没有用于家庭共同生活，那么这笔债务通常被视为个人债务。
- 在这种情况下，债权人只能向男方的遗产主张权利，而不能直接向其配偶或其他家庭成员追偿。
夫妻共同债务：
- 如果男方所借的钱是用于家庭共同生活、生产经营等，且配偶知情或同意，或者事后追认，那么这笔债务可能被视为夫妻共同债务。
- 在这种情况下，即使男方去世，配偶仍可能需要承担还款责任，除非能够证明该债务确实未用于家庭共同生活。
二、遗产分配与债务清偿
有遗产的情况：
- 如果男方去世后留有遗产，那么债权人可以向遗产主张权利，要求用遗产来清偿债务。
- 遗产的分配顺序通常遵循法定继承或遗嘱继承的规定，但在清偿债务前，需要先从遗产中扣除必要的费用（如丧葬费、遗产管理费等）。
- 如果遗产不足以清偿全部债务，那么债权人只能按照比例获得部分清偿。
无遗产或遗产不足的情况：
- 如果男方去世后没有留下遗产，或者遗产不足以清偿全部债务，那么债权人可能无法获得全额清偿。
- 在这种情况下，债权人通常无法向男方的配偶或其他家庭成员追偿，除非能够证明该债务属于夫妻共同债务。
三、法律建议
对于债权人：
- 在出借资金时，应尽可能了解借款人的借款用途和还款能力，并要求借款人提供担保或签订书面借款合同。
- 如果借款人去世，应及时向其遗产主张权利，并咨询专业律师以了解具体的法律程序和维权途径。
对于借款人的配偶或家庭成员：
- 如果对借款人的债务情况不了解，应尽快查询相关借款合同或记录，以确定债务的性质和金额。
- 如果认为债务不属于夫妻共同债务或家庭共同债务，应积极收集证据以证明自己的观点，并咨询专业律师以维护自己的合法权益。
举例说明：假设男方因个人投资需要向债权人借款10万元，并签订了书面借款合同。后来男方去世，留下了一套房产作为遗产。在这种情况下，债权人可以向男方的遗产（即房产）主张权利，要求用房产来清偿债务。如果房产价值足够清偿债务，那么债权人可以获得全额清偿；如果房产价值不足，那么债权人只能按照比例获得部分清偿。
进一步思考：在实际操作中，债务的性质判断、遗产的分配以及债务清偿等程序都可能涉及复杂的法律问题。因此，在处理此类纠纷时，建议咨询专业律师以获取具体的法律建议和维权途径。如果你有相关法律问题，可以直接向我咨询。