你可以直接拒绝与残联合作单位的工作安排。下面我详细解释一下相关的法律背景和可能的情况：

1. 劳动者的选择权：

   • 作为劳动者，你有权根据自己的意愿和职业规划选择工作。如果残联合作单位的工作安排不符合你的期望或职业规划，你有权拒绝。

2. 拒绝后的可能情况：

   • 与用人单位协商：在拒绝工作安排后，你可以与用人单位进行沟通，说明拒绝的原因，并尝试协商一个双方都能接受的工作安排。
   • 面临解雇或调岗：如果用人单位认为你的拒绝是不合理的，或者违反了公司的相关规定，他们可能会选择解雇你或将你调岗到其他部门。在这种情况下，你需要了解自己的劳动合同和公司的规章制度，以便评估自己的权益。

3. 法律保障：

   • 根据《中华人民共和国劳动法》和《中华人民共和国劳动合同法》，劳动者有权依法与用人单位签订劳动合同，并享有合同约定的权利。同时，劳动者也有权拒绝不符合自己意愿或职业规划的工作安排。
   • 如果用人单位因你拒绝工作安排而违法解雇你，你可以通过劳动仲裁或诉讼等方式维护自己的合法权益。

4. 建议：

   • 在拒绝工作安排前，建议你先了解清楚自己的劳动合同和公司的规章制度，确保自己的拒绝行为是合法的。
   • 如果与用人单位产生争议，建议你先尝试通过协商解决。如果协商无果，你可以考虑寻求劳动仲裁委员会或法院的帮助。

总之，你有权根据自己的意愿和职业规划选择工作，并拒绝不符合自己期望的工作安排。但在拒绝前，请务必了解清楚自己的劳动合同和公司的规章制度，以确保自己的权益不受损害。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。