结论：仅凭老板的爹（总管）说“你明天过来把工资算给你”这一句话，不能直接认定为违法辞退，是否构成违法辞退需要结合更多事实和证据来判断。以下从不同角度进行分析：
一、违法辞退的认定标准
违法辞退通常指的是用人单位在没有合法理由或未遵循法定程序的情况下，单方面解除与劳动者的劳动合同。根据《中华人民共和国劳动合同法》的相关规定，用人单位违法解除或者终止劳动合同的，应当依照经济补偿标准的二倍向劳动者支付赔偿金。因此，要认定是否为违法辞退，关键在于用人单位解除劳动合同是否有合法理由以及是否遵循了法定程序。
二、对“你明天过来把工资算给你”这句话的分析
这句话的直接含义：从字面上看，这句话只是表示老板的爹（总管）让劳动者明天过来结算工资，并没有直接说明要解除劳动合同或辞退劳动者。因此，仅凭这句话，不能直接推断出用人单位有辞退劳动者的意图。
结合上下文和实际情况：要判断这句话是否构成违法辞退，还需要结合上下文和实际情况。例如，如果劳动者在之前已经与用人单位就解除劳动合同进行了协商，并且双方已经达成了共识，那么这句话可能只是协商结果的一部分，即用人单位同意支付工资并解除劳动合同。在这种情况下，如果用人单位遵循了法定程序（如提前通知、支付经济补偿等），则不构成违法辞退。
缺乏明确辞退意思表示：如果劳动者没有与用人单位就解除劳动合同进行协商，或者用人单位没有明确表示要辞退劳动者，而只是让劳动者过来结算工资，那么这句话更不能被视为违法辞退的证据。在这种情况下，劳动者有权要求用人单位继续履行劳动合同或支付相应的经济补偿（如果劳动合同确实无法继续履行）。
三、建议与措施
与用人单位沟通：如果劳动者对这句话的含义存在疑问或担忧，建议首先与用人单位进行沟通，明确用人单位的真实意图和后续安排。
保留证据：无论用人单位是否构成违法辞退，劳动者都应该保留好与用人单位之间的沟通记录、工资单、劳动合同等相关证据，以备不时之需。
寻求法律援助：如果劳动者认为用人单位的行为已经构成了违法辞退，并且双方无法协商解决争议，那么劳动者可以向当地的劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼，以维护自己的合法权益。
最后，是否构成违法辞退需要结合更多事实和证据来判断。如果你有进一步的疑问或需要更具体的法律建议，可以直接向我咨询。