工厂老板说“与我无关”是否合法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：

一、若事故符合工伤认定条件，则老板说法不合法

根据《工伤保险条例》第十四条第六项规定，职工在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，应当认定为工伤。在此情况下：

1. 事故责任认定：若电瓶车与电瓶车相撞的事故中，工人不承担主要责任（如对方逆行、闯红灯等导致事故发生），则符合工伤认定的前提条件。
2. 工伤认定程序：工人或其近亲属应在事故伤害发生之日起1年内，向用人单位所在地统筹地区社会保险行政部门提出工伤认定申请。若被认定为工伤，则工厂老板需承担相应的工伤保险责任，包括支付工伤医疗费用、停工留薪期工资、一次性伤残补助金等。

在此情况下，老板说“与我无关”显然不合法，工人有权要求老板承担工伤保险责任。

二、若事故不符合工伤认定条件，则老板说法可能合法

若电瓶车与电瓶车相撞的事故中，工人承担主要责任（如自身违规驾驶导致事故发生），则不符合工伤认定的前提条件。在此情况下：

1. 非工伤认定范围：由于事故责任在工人自身，因此不属于工伤认定范围，工厂老板无需承担工伤保险责任。
2. 民事赔偿问题：虽然工厂老板无需承担工伤保险责任，但若事故中存在其他侵权方（如对方电瓶车驾驶人），工人仍有权向侵权方主张民事赔偿。

在此情况下，老板说“与我无关”在工伤保险责任方面可能是合法的，但工人仍需根据事故具体情况，考虑是否向其他侵权方主张民事赔偿。

三、特殊情况下的考虑

1. 上下班途中的合理时间与路线：工伤认定中，上下班途中需满足合理时间与合理路线的条件。若工人因私事绕道或超出合理时间范围发生事故，可能影响工伤认定结果。
2. 证据收集与保存：在工伤认定过程中，证据的收集与保存至关重要。工人应尽可能收集事故现场照片、交警事故认定书、医疗证明等证据材料，以支持自己的工伤认定申请。

建议：若工人认为自身符合工伤认定条件，但工厂老板拒绝承担责任，工人应及时向当地社会保险行政部门提出工伤认定申请，并咨询专业律师以维护自身合法权益。同时，在事故处理过程中，注意收集并保存相关证据材料，以便在后续的法律程序中使用。

如有更多关于工伤鉴定和赔偿的法律问题，可以直接向我咨询。