结论：持有残疾证本身并不直接赋予机关工作人员拒绝轮岗的权利，能否拒绝轮岗需结合残疾等级、岗位性质、法律法规及单位具体规定综合判断。以下分情况说明：
1. 若残疾不影响岗位履职，一般需服从轮岗安排
根据《公务员法》及《残疾人保障法》，机关单位对工作人员的岗位调整需遵循“人岗相适”原则。若残疾证登记的残疾类型（如肢体、听力等）及等级不影响拟轮岗岗位的工作要求（如办公室文职、后勤管理等），单位有权要求员工服从轮岗安排。此时，单纯以“持有残疾证”为由拒绝轮岗可能缺乏法律依据。
2. 若残疾导致无法胜任轮岗岗位，可申请调整或拒绝
若轮岗后的岗位性质与残疾状况冲突（如要求长时间站立、精细操作等），员工可依据《劳动合同法》第35条（用人单位与劳动者协商一致可变更劳动合同）及《残疾人就业条例》第17条（用人单位应为残疾人提供适宜岗位），向单位提出调整岗位的申请。若单位强行安排不适宜岗位，员工有权拒绝，并可要求单位提供符合其身体条件的岗位。
3. 单位需履行合理便利义务，否则可能违法
根据《残疾人保障法》第26条，机关单位应为残疾人就业提供必要条件和合理便利。若轮岗安排未考虑残疾员工的实际困难（如未提供无障碍设施、调整工作时间等），导致员工无法履行岗位职责，单位可能涉嫌违反“平等就业”原则。此时，员工可要求单位重新评估轮岗方案，或通过内部申诉、劳动仲裁等途径维权。
4. 特殊岗位的例外情形
若员工原岗位属于《公务员法》规定的“特定岗位”（如涉及国家秘密、专业技术等），且残疾状况导致无法继续胜任，单位可依据《公务员法》第86条解除聘用合同，但需支付经济补偿。但此情形与“轮岗”无关，属于岗位调整的特殊处理。
建议：
如有进一步疑问，可直接向我提问，我会结合具体案例为您详细分析。