在责任书没下来之前，肇事司机一般不能被无故限制回家，但若涉及刑事案件或存在其他法定情形，则可能被依法采取强制措施。以下从不同角度为你详细分析：
一、一般情况：责任书未下达，肇事司机不应被无故限制自由
在交通事故处理中，责任认定书是确定事故责任的重要依据，但它并不是限制肇事司机自由的法定理由。根据《中华人民共和国道路交通安全法》及相关规定，交通事故发生后，交警部门会进行现场勘查、调查取证等工作，并在一定期限内出具事故责任认定书。在责任认定书出具之前，肇事司机应当配合交警部门的调查工作，但不应被无故限制自由。
如果交警部门在没有合法依据的情况下限制肇事司机回家，这可能构成对公民人身自由的侵犯。肇事司机有权要求交警部门说明限制自由的理由，并有权向相关部门投诉或寻求法律援助。
二、特殊情况：涉及刑事案件或存在其他法定情形
涉及刑事案件：如果交通事故造成严重后果，如人员伤亡或重大财产损失，且肇事司机涉嫌交通肇事罪等刑事犯罪，那么交警部门或公安机关可能会依法对肇事司机采取刑事强制措施，如刑事拘留、逮捕等。在这种情况下，肇事司机将被依法限制自由，直至案件处理完毕。
存在其他法定情形：除了涉及刑事案件外，如果肇事司机存在逃避调查、毁灭证据等违法行为，或者存在其他可能危害社会安全的情形，交警部门或公安机关也可能依法对其采取限制自由的措施。
三、法律建议
配合调查：无论是否涉及刑事案件，肇事司机都应当积极配合交警部门的调查工作，如实陈述事故经过，提供相关证据材料。
了解权利：肇事司机有权了解交警部门限制其自由的理由和依据，并有权要求交警部门出示相关法律文书。
寻求法律援助：如果肇事司机认为交警部门的限制自由行为违法或不当，可以及时向相关部门投诉或寻求法律援助，以维护自己的合法权益。
关注责任认定书：肇事司机应当关注事故责任认定书的出具情况，并在收到认定书后认真核对内容。如果对认定书有异议，可以在规定期限内向上一级交警部门提出复核申请。
在处理交通事故时，肇事司机应当保持冷静、配合调查，并了解自己的权利和义务。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会为你提供专业的法律意见和帮助。