如果借钱给他人盖房子，对方死了，那么通常由借款人的继承人负责偿还债务。以下是详细分析：
债务继承原则：
- 根据《民法典》的相关规定，借款人死亡后，其遗产将用于清偿其生前所欠的债务。
- 借款人的继承人（如配偶、子女、父母等）在继承遗产的同时，也继承了债务。
- 如果遗产价值不足以清偿债务，继承人通常没有义务用个人财产来偿还，但自愿偿还的除外。
特殊情况处理：
- 如果借款人没有留下遗产，或者遗产已经被其他债权人优先受偿，那么债权人可能无法从借款人处获得偿还。
- 如果借款人生前购买了人寿保险，且指定了受益人，那么保险金通常不用于偿还债务，除非有特别约定。
法律建议：
- 在借款前，建议明确借款用途、金额、还款期限和方式，并签订书面借款合同，以减少后续纠纷。
- 如果借款人去世，债权人应及时与借款人的继承人联系，了解遗产情况和还款计划。
- 如果遇到还款纠纷，债权人可以寻求法律援助，通过法律途径维护自己的合法权益。
综上所述，如果借钱给他人盖房子，对方死了，那么通常由借款人的继承人负责偿还债务。但具体情况还需根据遗产情况、债务情况以及法律程序来确定。如果你有相关法律问题，可以直接向我咨询。