结论：单位无故辞退还有3年退休的合同工人，一般是不合法的，但具体还需根据实际情况判断。
一、法律背景与规定
根据《中华人民共和国劳动合同法》的相关规定，用人单位在解除劳动合同时，必须遵循法定程序和条件。对于临近退休的员工，法律更是给予了特别的保护。具体来说：
禁止违法解除劳动合同：
- 《劳动合同法》第四十二条规定，劳动者在本单位连续工作满十五年，且距法定退休年龄不足五年的，用人单位不得依照本法第四十条、第四十一条的规定解除劳动合同。这意味着，对于这类员工，用人单位不能随意以“不能胜任工作”、“客观情况发生重大变化”等理由解除劳动合同。
违法解除的后果：
- 如果用人单位违法解除劳动合同，根据《劳动合同法》第四十八条和第八十七条的规定，劳动者有权要求用人单位继续履行劳动合同，或者要求用人单位支付赔偿金。赔偿金的标准通常是经济补偿金的两倍，经济补偿金则根据劳动者在本单位的工作年限和月工资来计算。
二、具体分析
无故辞退的合法性：
- 对于还有3年退休的合同工人，如果单位无故辞退，且没有符合法律规定的解除理由和程序，那么这种辞退行为就是违法的。
可能的合法解除情形：
- 当然，也存在一些特殊情况，如员工严重违反用人单位的规章制度、严重失职或营私舞弊给用人单位造成重大损害等，用人单位可能可以依法解除劳动合同。但这些情形都需要有充分的证据支持，并且必须遵循法定程序。
临近退休员工的特殊保护：
- 临近退休的员工在劳动市场上处于相对弱势的地位，因此法律给予了他们特别的保护。用人单位在解除这类员工的劳动合同时，必须更加谨慎，确保符合法律规定。
三、法律建议
收集证据：
- 如果员工认为自己被无故辞退，首先应该收集相关证据，如劳动合同、辞退通知、工资单等，以证明自己的劳动关系和被辞退的事实。
协商与调解：
- 在采取法律行动之前，员工可以尝试与用人单位进行协商或调解，寻求双方都能接受的解决方案。
申请劳动仲裁或提起诉讼：
- 如果协商和调解无果，员工可以向当地劳动仲裁机构申请劳动仲裁，或者向人民法院提起诉讼，要求用人单位承担违法解除劳动合同的法律责任。
四、可能的法律后果
继续履行劳动合同：
- 如果劳动仲裁机构或人民法院认定用人单位违法解除劳动合同，员工有权要求用人单位继续履行劳动合同，即恢复劳动关系。
支付赔偿金：
- 如果员工不要求继续履行劳动合同，或者劳动合同已经不能继续履行，用人单位需要支付赔偿金。赔偿金的具体数额将根据员工的工作年限和月工资来计算。
举例说明：假设一位员工在单位工作了20年，月工资为5000元，还有3年退休时被无故辞退。如果劳动仲裁机构或人民法院认定用人单位违法解除劳动合同，那么该员工有权要求用人单位支付赔偿金。赔偿金的具体数额为：经济补偿金（20年×5000元/年=100000元）的两倍，即200000元。
最后，如果你或你身边的人遇到了类似的问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。