男人死后欠下的钱，应由其遗产继承人或配偶在特定情况下偿还。具体分析如下：

1. 遗产继承人偿还：

   • 根据《民法典》的相关规定，借款人去世后，其所负债务并不当然消灭。借款人的继承人如果继承了遗产，则需要在所得遗产实际价值范围内清偿被继承人依法应当偿还的债务。
   • 如果继承人放弃继承遗产或者无遗产可继承，则对被继承人依法应当偿还的债务可以不负清偿责任。

2. 配偶偿还（夫妻共同债务）：

   • 如果死者生前所欠债务为夫妻共同债务，即夫妻双方共同签名或者夫妻一方事后追认等共同意思表示所负的债务，以及夫妻一方在婚姻关系存续期间以个人名义为家庭日常生活需要所负的债务，那么生存一方应当对婚姻关系存续期间的夫妻共同债务承担清偿责任。
   • 债权人以夫妻共同债务为由要求配偶承担还款责任的，需要债权人证明该债务用于夫妻共同生活、共同生产经营或者夫妻双方进行了共同意思表示，如共同签字、事后追认等。

3. 特殊情况：

   • 如果债务并非夫妻共同债务，且死者未留下遗产或遗产不足以清偿债务，那么债权人可能无法从死者的配偶或继承人处获得全部清偿。
   • 如果死者留有遗嘱，且遗嘱中明确了对债务的承担方式，那么应按照遗嘱执行。

对于您提到的“还有两个孩子还小”的情况，如果这两个孩子是死者的未成年子女，他们通常不会直接承担父亲的债务。但是，如果死者留有遗产，且这些遗产被用于清偿债务，那么可能会影响孩子们从遗产中获得的份额。

综上所述，男人死后欠下的钱应由其遗产继承人或配偶在特定情况下偿还。具体偿还责任取决于债务的性质（是否为夫妻共同债务）、遗产的情况以及遗嘱的内容等因素。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。