核心结论：针对您描述的情况，您可以按照以下步骤处理：首先与工厂协商解决；协商不成，可向劳动监察部门投诉或申请劳动仲裁。以下是具体分析：

1. 协商解决
   根据《劳动合同法》第三十五条规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。班长要求您调换至对班，属于对原劳动合同中“工作时间”或“工作岗位”的变更，需经您书面同意。

   • 操作建议：
     
     1. 立即与工厂人事部门或上级主管沟通，明确拒绝单方面调班要求，要求按原合同履行；
        
     2. 保留书面沟通记录（如微信、邮件）或录音证据，证明工厂存在单方面变更合同的行为。

2. 投诉与仲裁
   若协商无果，工厂仍强制调班或以“对班不要”为由解除合同，您可采取以下措施：

   • 向劳动监察部门投诉：
     根据《劳动保障监察条例》，工厂单方面变更合同、未提供劳动条件等行为属于违法行为。您可携带劳动合同、工作记录、沟通证据等材料，向当地劳动监察大队投诉，要求工厂纠正违法行为并赔偿损失。
     
   • 申请劳动仲裁：
     若工厂因此解除合同或克扣工资，您可依据《劳动争议调解仲裁法》申请仲裁，主张以下权利：
     
     1. 要求工厂继续履行原合同；
        
     2. 若合同已无法履行，可主张经济补偿金（按工作年限计算，每满1年支付1个月工资）；
        
     3. 补发因调班或解除合同导致的工资损失。

3. 特殊情形处理

   • 若工厂以“对班不要”为由辞退您：
     工厂需证明您存在“不能胜任工作”等法定解除情形，否则属于违法解除，您可主张2倍经济补偿金的赔偿金（即每工作1年支付2个月工资）。
     
   • 若您同意调班但工厂未安排：
     工厂仍需按原合同支付工资，否则构成拖欠工资，您可要求支付工资及50%-100%的赔偿金（依据《劳动合同法》第八十五条）。

行动建议：

1. 优先与工厂协商，明确拒绝单方面调班；
   
2. 保留所有证据（合同、排班表、沟通记录等）；
   
3. 若工厂态度强硬，立即向劳动监察部门投诉或申请仲裁，避免超过1年仲裁时效。
   

如有进一步疑问或需协助准备材料，可随时向我咨询。