工厂以转班不上为由进行罚款属于违法行为，你有权拒绝并维护自身合法权益。以下从多个角度为你详细分析：
- 从罚款的合法性角度
- 根据我国《劳动合同法》及相关法律法规规定，用人单位对劳动者进行罚款需要有明确的法律依据或合法有效的规章制度作为支撑。一般情况下，法律并未赋予用人单位随意对劳动者进行罚款的权力。工厂仅仅因为你不愿意转班就进行罚款，缺乏合法依据，这种罚款行为是不合法的。
- 即使工厂有相关的规章制度规定转班不上要罚款，该规章制度也必须满足一系列条件才具有法律效力。比如，规章制度应当经过民主程序制定，即需要与工会或者职工代表平等协商确定；要向劳动者进行公示或者告知，让劳动者知晓制度内容。如果工厂的规章制度没有经过这些合法程序，那么以此为依据的罚款也是无效的。
- 从转班的合理性角度
- 工厂安排转班应当具有合理性。如果转班安排严重影响了你的正常生活，例如频繁转班导致你无法得到足够的休息，或者转班时间违反了法律法规关于工作时间的规定等，你有权拒绝不合理的转班安排。在这种情况下，工厂以你拒绝不合理转班为由进行罚款更是没有道理的。
- 例如，根据《劳动法》规定，国家实行劳动者每日工作时间不超过八小时、平均每周工作时间不超过四十四小时的工时制度。如果工厂的转班安排使得你的工作时间远远超过了这个标准，那么这种转班安排就是不合理的，你可以拒绝，工厂也不能因此对你罚款。
- 从维权途径角度
- 你可以先与工厂进行协商，向工厂说明罚款行为的不合法性以及你对转班安排的看法，争取通过友好沟通解决问题，让工厂撤销罚款决定。
- 如果协商无果，你可以向当地的劳动监察部门投诉。劳动监察部门有权对用人单位的违法行为进行查处，他们会根据你提供的情况展开调查，如果确认工厂的罚款行为违法，会责令工厂改正，并可能对工厂进行相应的处罚。
- 你还可以申请劳动仲裁。劳动仲裁是一种解决劳动争议的有效方式，你可以向劳动争议仲裁委员会提交仲裁申请，要求裁决工厂的罚款行为无效，并返还已扣除的罚款。在仲裁过程中，你需要提供相关的证据，如工资条、罚款通知、与工厂沟通的记录等，以证明工厂的违法行为。