关于“农村以公代扶的残疾人去单位上班只能做三年”这一说法，并没有明确的法律规定限制其只能工作三年，具体工作年限需根据实际情况判断。以下从不同角度进行分析：

1. “以公代扶”政策背景
   “以公代扶”通常指通过公益性岗位安置残疾人就业，属于政府扶持残疾人就业的一种方式。根据《残疾人就业条例》《残疾人保障法》等规定，公益性岗位的设立旨在为残疾人提供稳定的就业机会，法律并未规定此类岗位有固定的工作年限限制。具体工作期限通常由用人单位与残疾人协商确定，或根据地方政策、岗位性质、合同约定等因素综合决定。

2. 劳动合同法的适用
   若残疾人与用人单位签订的是固定期限劳动合同，则工作年限以合同约定为准，合同到期后双方可协商续签；若签订的是无固定期限劳动合同，则无明确终止时间，除非出现法定解除情形（如严重违纪、不能胜任工作等）。
   关键点：工作年限的长短取决于合同类型及双方约定，而非“以公代扶”身份本身。

3. 地方政策差异
   部分地区可能对公益性岗位有特殊规定，例如：

   • 岗位补贴期限：政府对用人单位的补贴可能有时间限制（如3年），但补贴到期后，若双方愿意继续合作，可重新签订合同；
     
   • 岗位轮换要求：为保障更多残疾人受益，地方可能要求用人单位定期轮换岗位，但这不等于直接终止劳动关系。
     建议：需查阅当地具体政策或咨询人社部门，以明确是否有隐性限制。

4. 残疾人权益保障
   根据《残疾人保障法》，用人单位不得因残疾歧视解除劳动合同，且需提供合理便利。若单位以“三年期限”为由单方终止合同，可能涉嫌违法解除，残疾人可依法主张权利（如要求继续履行合同或索赔）。

行动建议：

1. 核查与用人单位签订的劳动合同，明确合同类型及期限；
   
2. 咨询当地残联或人社局，了解公益性岗位的具体政策；
   
3. 若遭遇不合理终止，可收集证据（如合同、解除通知等）通过劳动仲裁维权。
   

如有进一步疑问，可直接向我咨询具体细节。