首先，我们需要明确一点：在我国，夫妻离婚时财产的分配并不是简单地根据双方分开的时间长短来决定的。因此，“三年不在一起”这一事实本身，并不直接决定离婚时财产如何分配。
接下来，我们根据《民法典》的相关规定，来详细分析离婚时财产分配的问题：
协议分割：
- 离婚时，夫妻双方的共同财产由双方协议处理。
- 这意味着，如果双方能够达成一致意见，那么财产就可以按照双方约定的方式进行分配。
法院裁决：
- 如果双方无法就财产分配达成一致，那么就需要由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。
- 在这个过程中，法院会考虑多种因素，如双方的实际贡献、婚姻期间的生活状况、子女的抚养需求等，来做出公正的裁决。
特殊情况：
- 如果存在一方隐藏、转移、变卖、毁损、挥霍夫妻共同财产，或者伪造夫妻共同债务企图侵占另一方财产的情况，那么在离婚分割夫妻共同财产时，对该方可以少分或者不分。
- 同时，如果一方在婚姻期间负有法定扶养义务的人患有重大疾病需要医治，而另一方不同意支付相关医疗费用，那么夫妻一方可以向人民法院请求分割共同财产。
综上所述，离婚时财产的分配是一个复杂的过程，需要综合考虑多种因素。因此，“三年不在一起”并不能直接决定离婚时钱给谁。如果双方能够协商一致，那么就可以按照协议进行分配；如果无法协商一致，则需要由人民法院根据具体情况做出裁决。如果你在这方面有具体的法律问题或需要进一步的帮助，请随时向我咨询。