结论：在“接班人没到岗，交班人离岗了”这一情境中，责任的大小主要取决于具体的规章制度、劳动合同或相关协议中的约定，以及双方的实际行为情况。以下从几个角度进行分析：
规章制度与劳动合同的约定：
- 如果公司或单位有明确的规章制度，或者劳动合同中有关于交接班的具体规定，那么双方应当遵循这些规定。例如，如果规定接班人未到岗时交班人不得离岗，那么交班人离岗就可能构成违约或违反规章制度，需要承担相应的责任。
- 反之，如果规章制度或劳动合同中没有明确规定，或者规定不明确，那么责任的大小就可能需要根据实际情况和公平原则来判断。
双方的实际行为情况：
- 如果接班人因故未能按时到岗，且及时通知了交班人，而交班人在未得到明确指示或未经允许的情况下擅自离岗，那么交班人可能需要承担较大的责任。因为交班人的离岗可能导致工作无法顺利进行，甚至造成损失。
- 如果接班人未到岗且未通知交班人，或者交班人因紧急情况（如突发疾病、家庭紧急事务等）不得不离岗，且事后能够证明其离岗的合理性，那么责任的大小就可能需要根据具体情况来减轻或免除交班人的责任。
可能的法律后果：
- 如果交班人的离岗行为给公司或单位造成了损失，公司或单位可能要求交班人承担赔偿责任。赔偿的范围和金额将根据损失的大小和交班人的过错程度来确定。
- 如果交班人的离岗行为违反了规章制度或劳动合同的约定，公司或单位可能根据规定对交班人进行纪律处分，如警告、罚款、解除劳动合同等。
建议：
- 对于公司或单位来说，应当制定明确的规章制度和劳动合同条款，明确交接班的具体要求和责任划分，以避免类似纠纷的发生。
- 对于交班人和接班人来说，应当严格遵守规章制度和劳动合同的约定，及时沟通交接班的情况，确保工作的顺利进行。如果遇到特殊情况无法按时交接班，应当及时通知对方并说明原因，以便对方采取相应的措施。
进一步思考：在实际操作中，交接班的问题可能涉及多个方面，如工作交接的完整性、工作责任的转移等。因此，在处理类似纠纷时，需要综合考虑各种因素，包括规章制度、劳动合同、双方的实际行为情况以及可能造成的损失等。如果双方无法协商解决纠纷，可以寻求法律途径来维护自己的合法权益。
如有任何劳动工伤方面的法律问题，可以直接向我咨询。