结论：事故双方私下签写的协议，若甲方书面没签字，但已经实际赔钱给乙方，该协议在特定条件下仍然可能有效，但也可能存在效力瑕疵或引发后续纠纷。以下从不同角度详细分析：
一、协议有效的情形
实际履行原则：
- 在法律实践中，如果双方已经按照协议的内容实际履行了各自的义务，比如甲方已经按照协议约定向乙方支付了赔偿款，且乙方接受了该款项，这通常被视为双方对协议内容的认可和接受。
- 在这种情况下，即使甲方没有在协议上书面签字，该协议也可能因为双方的实际履行行为而被视为有效。这是因为实际履行行为构成了对协议内容的确认和执行，符合合同成立和生效的实质要件。
口头协议与书面协议的转化：
- 如果双方在事故发生后，先通过口头方式达成了赔偿协议，并且甲方随后按照口头协议的内容向乙方支付了赔偿款，这可以视为口头协议已经得到了实际履行。
- 在某些情况下，如果双方后续没有就协议内容产生争议，且甲方已经履行了主要义务（如支付赔偿款），该口头协议也可能被视为有效，并受到法律保护。不过，为了降低风险，建议将口头协议转化为书面协议。
二、协议可能存在效力瑕疵或引发后续纠纷的情形
甲方未签字导致的效力问题：
- 书面签字是合同成立和生效的重要形式要件之一。如果甲方没有在协议上书面签字，从形式上看，该协议可能尚未成立或生效。
- 这可能导致在后续履行过程中，如果甲方反悔或拒绝继续履行协议，乙方可能难以依据该协议来维护自己的权益。
证据留存与举证责任：
- 如果双方没有签订书面协议，或者协议上甲方未签字，那么在后续发生纠纷时，乙方可能需要承担更重的举证责任来证明双方之间存在赔偿协议以及协议的具体内容。
- 这可能包括提供其他证据，如聊天记录、录音录像、证人证言等，来证明双方确实就赔偿事宜达成了共识，并且甲方已经实际履行了部分或全部义务。然而，这些证据的证明力可能相对较弱，且收集起来可能更加困难。
三、法律建议
完善协议形式：
- 为了确保协议的效力和避免后续纠纷，建议双方在达成赔偿协议后，务必签订书面协议，并确保双方都在协议上签字或盖章。
- 书面协议应明确约定赔偿金额、支付方式、支付时间等关键条款，以便在后续履行过程中有明确的依据。
保留相关证据：
- 无论双方是否签订书面协议，都应保留好与事故赔偿相关的所有证据，如事故现场照片、医疗记录、费用单据、聊天记录等。
- 这些证据在后续发生纠纷时可能起到至关重要的作用，有助于证明双方之间的权利义务关系以及协议的具体内容。
及时咨询专业律师：
- 如果双方在事故赔偿问题上存在争议或无法达成一致意见，建议及时咨询专业律师以获取法律帮助。
- 律师可以根据具体情况提供针对性的法律建议和解决方案，帮助双方妥善解决纠纷并维护各自的合法权益。
总结：虽然甲方未在书面协议上签字，但如果双方已经实际履行了协议内容（如甲方已经支付赔偿款给乙方），该协议在特定条件下仍然可能有效。然而，为了降低风险和避免后续纠纷，建议双方务必签订书面协议并保留好相关证据。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。