结论：在您从事有毒有害工作且离退休还有三年的情况下，公司一般不可以随意辞退您，但需根据具体情况判断。以下从不同角度为您详细分析：
一、基于劳动合同法的保护
经济性裁员限制：
- 根据《劳动合同法》第四十一条，用人单位在特定情形下（如依照企业破产法规定进行重整、生产经营发生严重困难等）可以进行经济性裁员。但即便如此，对于从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或者疑似职业病病人在诊断或者医学观察期间的，用人单位不得依照本法第四十条、第四十一条的规定解除劳动合同。
- 您从事的是有毒有害工作，若公司未安排您进行离岗前职业健康检查，或您正处于疑似职业病病人在诊断或者医学观察期间，公司不得随意辞退您。
无过失性辞退限制：
- 根据《劳动合同法》第四十条，用人单位在特定情形下（如劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的等）可以无过失性辞退劳动者。但同样，对于从事接触职业病危害作业的劳动者，若未进行离岗前职业健康检查，或疑似职业病病人在诊断或者医学观察期间，也不适用此条款。
二、基于职业病防治法的保护
- 根据《职业病防治法》第三十五条，对从事接触职业病危害的作业的劳动者，用人单位应当按照国务院安全生产监督管理部门、卫生行政部门的规定组织上岗前、在岗期间和离岗时的职业健康检查，并将检查结果书面告知劳动者。职业健康检查费用由用人单位承担。
- 若公司未按照法律规定组织您进行职业健康检查，或者您在职业健康检查中发现有与所从事的职业相关的健康损害的，公司不得随意辞退您，并应依法承担相应的责任。
三、特殊情况下的辞退
- 若您存在严重违反用人单位的规章制度、严重失职或营私舞弊给用人单位造成重大损害、被依法追究刑事责任等情形，公司可能依据《劳动合同法》第三十九条的规定辞退您。但这种情况与您从事有毒有害工作及离退休时间无直接关联，而是基于您个人的行为或法律责任。
四、建议与行动
- 保留证据：若公司试图辞退您，请务必保留好相关证据，如劳动合同、工作证明、职业健康检查记录（如有）、公司辞退通知等。
- 协商与沟通：尝试与公司进行协商，了解辞退的具体原因，并表达您的诉求和权益。
- 寻求法律援助：若协商无果，您可以向当地劳动争议仲裁委员会申请仲裁，或直接向人民法院提起诉讼，以维护您的合法权益。
最后，鉴于您从事的是有毒有害工作且离退休还有三年，公司在辞退您时需格外谨慎，并遵守相关法律法规的规定。若您遇到此类问题，欢迎直接向我咨询，我将为您提供专业的法律帮助。