组长说“你干不干活我管不了”这种情况，并不直接决定你的劳动权益是否受损，关键在于单位是否有明确的规章制度以及这些制度是否得到了合法执行。以下从几个角度为你分析并给出建议：
单位规章制度的角度：
- 根据《中华人民共和国劳动法》及相关规定，用人单位应当依法建立和完善规章制度，保障劳动者享有劳动权利和履行劳动义务。如果单位有明确的规章制度规定了员工的工作职责、考勤管理、奖惩措施等，那么组长作为管理者，应当依据这些制度来管理员工，而不是简单地说“管不了”。
- 建议：你可以先查阅单位的规章制度，了解自己的工作职责和考勤要求。如果组长的话与规章制度相悖，你可以向更高层级的管理者或人力资源部门反映情况，要求按照规章制度执行。
劳动关系的角度：
- 组长作为你的直接上级，其言论可能反映了单位管理上的某种态度或倾向，但并不直接决定你的劳动关系状态。你的劳动关系是由你与单位签订的劳动合同来确定的，包括工作内容、工作地点、工作时间、劳动报酬等条款。
- 建议：如果组长的话让你感到困惑或不安，你可以回顾自己的劳动合同，确认自己的权益是否受到侵害。如果发现合同中有不明确或不合理的地方，或者组长的话实际上是在暗示要解除或变更劳动合同，你可以及时与单位沟通，必要时寻求法律援助。
劳动权益保护的角度：
- 无论组长如何表态，你都有权要求单位按照法律法规和劳动合同的规定来保障你的劳动权益。如果组长的话导致你无法正常工作、遭受不公正待遇或工资福利受损等，你可以向单位提出异议，并要求单位给予合理的解释和补救措施。
- 建议：在维护自己权益的过程中，你可以保留相关证据，如工作记录、考勤记录、工资单等，以便在需要时证明自己的权益受到了侵害。如果单位不予理会或处理不当，你可以向当地的劳动监察部门投诉或申请劳动仲裁。
沟通与协商的角度：
- 在处理这类问题时，沟通与协商是非常重要的。你可以尝试与组长进行坦诚的沟通，了解他为何会说出这样的话，并表达你的困惑和担忧。同时，你也可以向其他同事或人力资源部门寻求帮助和支持。
- 建议：在沟通时，保持冷静和理性，避免情绪化的表达。尽量以事实为依据，以法律法规和规章制度为准则，提出自己的合理诉求和解决方案。
总结来说，组长的话并不直接决定你的劳动权益状态，关键在于单位是否有明确的规章制度以及这些制度是否得到了合法执行。如果你感到自己的权益受到了侵害或存在困惑，建议从上述几个角度入手，采取相应的措施来维护自己的权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。