不是所有打工的都按主犯的严重程度来处理。在非法采矿罪中，对于打工者的处理，需要具体分析其在犯罪中所起的作用、参与的程度以及是否明知等情节。

1. 作用与参与程度：如果打工者只是被雇佣从事一些普通的劳务工作，对非法采矿的行为并不知情，或者虽然知情但并未积极参与，那么他们的责任相对较轻。相反，如果打工者积极参与了非法采矿的策划、实施等关键环节，那么他们可能需要承担更重的责任。

2. 明知与否：明知他人实施非法采矿行为而为其提供帮助的，也可能构成共同犯罪。但如果打工者并不明知，或者虽然有所察觉但并未积极参与，那么他们的责任就会相对较轻。

3. 法律原则：我国刑法遵循“罪责刑相适应”的原则，即刑罚的轻重应当与犯罪分子所犯罪行和承担的刑事责任相适应。因此，对于打工者的处理，会根据他们在犯罪中的具体情节来量刑，而不是简单地按主犯的严重程度来处理。

综上所述，对于非法采矿罪中的打工者，不能一概而论地按主犯的严重程度来处理。而是需要根据他们在犯罪中的具体作用、参与程度以及是否明知等情节来综合判断。如果你或你身边的人面临类似的问题，建议尽快咨询专业律师，以便得到更准确的法律意见和帮助。