结论：责任书能否签下来，取决于事故的具体情况、交警的调查结果以及相关法律法规的适用。在您描述的情况下，即撞到花坛后当时不知道并离开，之后交警打电话才知晓，这并不直接决定责任书能否签下，但可能会影响责任认定的过程和结果。以下从多个角度进行分析：
事故责任认定的基本原则：
- 交通事故责任认定主要依据事故发生的经过、各方的行为对事故发生的作用以及过错的严重程度。
- 交警部门会通过现场勘查、调查取证、询问当事人等方式，综合分析事故原因，确定各方责任。
您的情况对责任认定的影响：
- 您撞到花坛后当时不知道并离开，这可能被视为未及时停车保护现场、未立即报警等行为，这些行为在交通事故处理中通常是不被鼓励的，甚至可能构成违法行为（如逃逸，但需根据具体情况判断是否构成逃逸）。
- 然而，是否构成逃逸以及逃逸对责任认定的具体影响，需要交警部门根据事故现场情况、您的陈述、证人证言等证据进行综合判断。
- 如果交警部门认为您的行为对事故发生没有直接影响，或者您的行为并非导致事故的主要原因，那么您可能仍会被认定承担一定的责任，但不一定是全部责任。
责任书的签订：
- 责任书是交警部门根据事故调查结果，对各方责任进行认定的书面文件。
- 在责任认定完成后，交警部门会通知各方当事人签订责任书。如果各方对责任认定无异议，通常会签订责任书。
- 在您的情况下，如果交警部门已经完成了事故调查，并确定了各方责任，且您对责任认定无异议，那么您可以签订责任书。
可能的法律后果：
- 如果您的行为被认定为逃逸或存在其他违法行为，可能会面临行政处罚（如罚款、拘留等）或刑事责任（如构成交通肇事罪等）。
- 此外，如果您的行为导致事故损失扩大或无法及时得到赔偿，您可能还需要承担相应的民事责任。
建议：
- 积极配合交警部门的调查工作，如实陈述事故经过和自身情况。
- 如果对责任认定有异议，可以在规定时间内提出复核申请或寻求法律援助。
- 在签订责任书前，务必仔细阅读并理解责任书的内容，确保自己的权益得到保障。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。