关于房子拆了几年再来认定违建退钱是否合法的问题，这并非一个简单的“合法”或“不合法”的判断，而是需要结合具体情况和相关法律规定来综合分析。以下是我从不同角度为你提供的详细解答：

1. 违建认定的时效性：

   • 一般来说，违建的认定并没有一个固定的“时效期”。也就是说，无论房屋被拆除多久，只要相关部门发现或接到举报该房屋存在违建情况，都有权进行调查和认定。
   • 但是，如果房屋已经被拆除多年，且在此期间相关部门并未提出违建认定或处罚，那么从行政效率和公平性的角度出发，相关部门在后续认定违建时可能会面临一定的挑战，尤其是需要证明该房屋在拆除时确实存在违建情况。

2. 退钱问题的法律基础：

   • 如果房屋被认定为违建并被拆除，那么退钱的问题主要取决于拆除的原因、程序以及是否存在补偿协议等。
   • 如果拆除是因为公共利益需要（如城市规划、道路建设等），且相关部门按照法定程序进行了拆除，并给予了合理的补偿，那么退钱的问题可能就不存在了，因为补偿款已经支付。
   • 如果拆除是因为房屋本身存在违建情况，且相关部门在拆除时并未给予补偿，或者补偿不合理，那么房主有权要求相关部门进行补偿或退还部分款项。但是，这通常需要在拆除后的一定期限内提出，并且需要提供充分的证据来证明自己的权益。

3. 实际操作中的考虑因素：

   • 在实际操作中，房子拆了几年再来认定违建退钱的情况可能会比较复杂。因为随着时间的推移，相关证据可能会丢失或变得难以获取，这增加了房主维权的难度。
   • 此外，如果相关部门在拆除房屋时并未明确告知房主房屋存在违建情况，或者并未按照法定程序进行拆除和补偿，那么房主在后续维权时可能会面临更多的挑战。

4. 法律建议：

   • 如果你面临这样的情况，我建议你首先收集相关证据，包括房屋拆除前的照片、视频、相关部门的通知或决定书等，以证明房屋在拆除时的状态和相关部门的行为。
   • 然后，你可以咨询当地相关部门或律师，了解具体的法律规定和维权途径。如果确实存在违建认定和退钱的问题，你可以根据相关规定和程序提出自己的诉求。

总结来说，房子拆了几年再来认定违建退钱是否合法，并没有一个简单的答案。它取决于多种因素，包括违建认定的时效性、退钱问题的法律基础、实际操作中的考虑因素等。如果你面临这样的情况，我建议你及时咨询专业律师或相关部门，以了解具体的法律规定和维权途径。有问题可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。