结论：对于工作3年且离退休还有2年的无过错员工，单位在一般情况下不能随意辞退，但在特定情形下，如员工存在过错或无法胜任工作等，单位可以依法解除劳动合同。
一、一般不能辞退的情况及法律依据
法律保护：
- 根据《劳动合同法》第四十二条，劳动者在本单位连续工作满十五年，且距法定退休年龄不足五年的，用人单位不得依据该法第四十条（无过失性辞退）和第四十一条（经济性裁员）的规定解除劳动合同。这一规定体现了法律对长期工作且即将退休员工的特殊保护，旨在避免员工在临近退休时因非个人原因失去工作和生活保障。
- 针对您的情况：虽然您在本单位的工作年限未满十五年，但您距离退休还有两年，若您不存在过错，单位通常不能随意辞退您，否则可能面临法律风险。
法律保护目的：
- 此规定旨在确保员工能够平稳过渡到退休生活，避免因非个人原因导致的失业对其生活造成重大影响。
二、可以辞退的特殊情况及法律依据
员工存在过错：
- 严重违反规章制度：根据《劳动合同法》第三十九条，如果员工严重违反用人单位的规章制度，如多次旷工、泄露公司机密等，用人单位可以解除劳动合同。
- 依法追究刑事责任：若员工在职期间因违法犯罪行为被依法追究刑事责任，如贪污、受贿等，用人单位同样可以解除劳动合同。
- 针对您的情况：如果您在工作中不存在上述过错行为，单位不能以此为由辞退您。
员工无法胜任工作：
- 根据《劳动合同法》第四十条，如果员工患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作，单位提前三十日以书面形式通知员工本人或者额外支付员工一个月工资后，可以解除劳动合同。
- 针对您的情况：如果您身体健康，能够胜任工作，单位不能以此为由辞退您。
三、不可随意辞退的情形及法律后果
员工无过错且工龄长（虽不完全符合，但可参考）：
- 若员工在本单位连续工作满十五年且无违规行为，用人单位不得随意解雇。若违法解雇，员工有权要求经济赔偿，甚至可能获得双倍薪酬的赔偿。
- 针对您的情况：虽然您的工作年限未满十五年，但如果您无过错，单位随意辞退您仍可能面临法律风险，您有权要求相应的经济补偿。
双方协商一致：
- 用人单位和员工可以通过协商达成一致，解除劳动合同。这种情况下，通常不涉及经济赔偿问题，但双方应就解除劳动合同的相关事宜达成书面协议。
四、退休后的劳动关系处理
自然终止：
- 员工达到法定退休年龄（如60岁），劳动关系自然终止，用人单位无需支付经济补偿。
劳务关系：
- 若员工虽达到退休年龄但未享受养老保险待遇或领取退休金，并继续在用人单位工作，双方形成的是劳务关系。劳务关系的解除遵循双方约定或民事法律相关规定，若用人单位违反约定辞退员工，可能需要承担违约责任，但这不是劳动法意义上的经济补偿。
建议：如果您面临被辞退的情况，且认为自己无过错，建议先与单位沟通，了解辞退的具体原因。如果单位无法提供合法合理的辞退理由，您可以考虑通过法律途径维护自己的权益，如向劳动争议仲裁委员会申请仲裁或向法院提起诉讼。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。