结论：还差3年退休，公司一般不可以仅以“不胜任工作”为由直接辞退员工，但需根据具体情况判断。以下从不同角度详细分析：

一、法律对“不胜任工作”辞退的规定

根据《劳动合同法》第四十条第二项规定，劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的，用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，可以解除劳动合同。这意味着，即使员工不胜任工作，公司也不能直接辞退，而需经过培训或调岗，且仍不胜任的，才能依法解除劳动合同。

二、临近退休员工的特殊保护

对于临近退休的员工，法律给予了更多的保护。根据《劳动合同法》第四十二条第五项规定，在本单位连续工作满十五年，且距法定退休年龄不足五年的，用人单位不得依照本法第四十条、第四十一条的规定解除劳动合同。这一规定旨在保护临近退休员工的就业稳定，防止因年龄原因被随意辞退。

具体到您的案例：如果您在本单位连续工作已满十五年，且距离法定退休年龄不足五年（即还差3年退休），那么公司不得仅以“不胜任工作”为由解除劳动合同。即使您确实不胜任工作，公司也需通过培训或调岗等方式帮助您提升能力或适应新岗位，而不能直接辞退。

三、公司违法辞退的法律后果

如果公司违反上述规定，仅以“不胜任工作”为由直接辞退您，那么公司的行为构成违法解除劳动合同。根据《劳动合同法》第八十七条规定，用人单位违反本法规定解除或者终止劳动合同的，应当依照本法第四十七条规定的经济补偿标准的二倍向劳动者支付赔偿金。

赔偿金计算公式： \(赔偿金 = 经济补偿标准 \times 2\) 其中，经济补偿标准根据您在公司的工作年限和月工资确定，具体为：每满一年支付一个月工资的标准向劳动者支付；六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。月工资是指劳动者在劳动合同解除或者终止前十二个月的平均工资。

四、建议与行动

1. 与公司沟通：如果您认为自己确实不胜任当前工作，但希望继续留在公司，可以与公司沟通，寻求培训或调岗的机会。
2. 收集证据：如果公司试图违法辞退您，请务必收集相关证据，如劳动合同、工资单、工作记录、辞退通知等，以备后续维权之需。
3. 寻求法律帮助：如果您对公司的行为有异议，或者需要进一步的法律帮助，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。

总之，临近退休的员工在法律上享有更多的保护，公司不能随意辞退。如果您遇到类似问题，请务必保持冷静，收集证据，并寻求专业的法律帮助。