解除合伙人时，是否需要把合伙人交的钱给他，这并非一个绝对的问题，而是需要根据具体情况来决定。下面我将从不同角度为您详细分析：

1. 合伙协议约定：

   • 合伙企业在成立时，通常会签订合伙协议，该协议中应明确约定合伙人退伙时的财产处理方式。
   • 如果合伙协议中明确规定了退伙时应当退还合伙人的出资，那么解除合伙人时，就需要按照协议约定将合伙人交的钱退还给他。
   • 如果合伙协议中没有明确规定，或者规定不明确，那么就需要依据相关法律法规来处理。

2. 法律法规规定：

   • 根据《合伙企业法》的相关规定，合伙人退伙时，其他合伙人应当与该退伙人按照退伙时的合伙企业财产状况进行结算，退还退伙人的财产份额。
   • 这里的“财产份额”并非简单等同于合伙人最初的出资额，而是指退伙人在合伙企业中的权益，包括出资、积累的财产以及合伙企业分配给他的利润等。

3. 实际情况考量：

   • 在实际操作中，还需要考虑合伙企业的实际经营状况、盈亏情况、资产负债等因素。
   • 如果合伙企业处于盈利状态，且合伙人退伙不会给合伙企业造成重大损失，那么退还合伙人的出资及相应份额是合理的。
   • 如果合伙企业处于亏损状态，或者合伙人退伙会给合伙企业带来重大损失，那么可能需要协商处理，甚至可能需要通过法律途径来解决争议。

综上所述，解除合伙人时是否需要把合伙人交的钱给他，需要根据合伙协议的约定、法律法规的规定以及合伙企业的实际情况来综合判断。如果您在这方面遇到任何问题或争议，建议您及时咨询专业律师，以便得到更具体、更专业的法律建议。