若带班以不正当理由解雇您，且您不存在过错，您有权要求赔偿。针对您提出的问题，我将从不同角度进行分析：

一、带班说“不要人干了”是否构成违法解雇？

1. 若带班行为代表公司，且无正当理由解雇您：

   • 根据《中华人民共和国劳动合同法》的相关规定，用人单位解除劳动合同应当有合法理由，并遵循法定程序。若带班作为公司代表，无正当理由解雇您，这可能构成违法解雇。
   • 在此情况下，您有权要求公司支付赔偿金，赔偿金的标准通常按照您在公司工作的年限和工资水平来确定，具体为每工作一年支付一个月工资的经济补偿，若违法解雇则需支付双倍赔偿，即2N（N代表工作年限对应的月数）。

2. 若带班行为不代表公司，或您存在过错：

   • 如果带班的行为并不代表公司的正式决定，或者您确实存在严重违反公司规章制度、不能胜任工作等过错，那么公司解雇您可能不构成违法解雇。
   • 在此情况下，您可能无法要求公司支付赔偿金，但具体还需根据实际情况和公司规章制度来判断。

二、耽误工作是否影响赔偿？

• 耽误工作本身不构成解雇的合法理由：除非您的耽误工作行为严重违反了公司规章制度，或者给公司造成了重大损失，否则公司不能仅凭此理由解雇您。
• 若耽误工作被用作解雇的借口：如果公司以您耽误工作为由解雇您，但实际上这并非解雇的真正原因，或者解雇程序不合法，您仍然有权要求公司支付赔偿金。

三、建议与行动

1. 收集证据：

   • 保留与带班或公司的沟通记录，如聊天记录、录音等，以证明解雇的事实和理由。
   • 收集工作证明、工资单等证据，以证明您的工作年限和工资水平。

2. 与公司协商：

   • 尝试与公司进行协商，寻求和解或补偿方案。

3. 申请劳动仲裁或提起诉讼：

   • 如果协商无果，您可以向当地劳动争议仲裁委员会申请仲裁，要求公司支付赔偿金。
   • 对仲裁裁决不服的，您还可以向人民法院提起诉讼。

最后需要强调的是，每个案件的具体情况都有所不同，因此在实际操作中应结合您的具体情况来判断。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。