结论：在这种情况下，您仍然有可能起诉对方，但需要收集相关证据来支持您的诉求。

分析说明：

1. 口头私了协议的法律效力：

   • 口头协议在法律上也是具有效力的，只要双方意思表示真实，且不违反法律、行政法规的强制性规定，不违背公序良俗。然而，口头协议在举证时相对困难，因为缺乏书面证据。
   • 在交通事故中，如果双方口头达成私了协议，但事后一方反悔或未履行协议，另一方想要通过法律途径解决，就需要提供证据证明口头协议的存在及其内容。

2. 证据收集的重要性：

   • 在您的情况下，由于只有对方的电话号码，且没有书面协议或其他直接证据，收集证据将变得尤为重要。
   • 您可以尝试通过以下方式收集证据：与对方再次沟通并录音，记录对方承认事故责任及私了协议的内容；寻找目击者，并获取他们的证言；如果可能，获取事故现场的监控录像或照片等。

3. 起诉的可能性与流程：

   • 如果您能够收集到足够的证据来支持您的诉求，您仍然可以向法院起诉对方。起诉时，您需要提交起诉状及相关证据材料。
   • 法院将审查您的证据，并根据事实情况作出判决。如果法院认定对方确实应承担事故责任，且私了协议有效但对方未履行，法院可能会判决对方履行协议或赔偿您的损失。

4. 可能面临的挑战：

   • 由于缺乏书面证据，您在举证时可能会面临一定的困难。对方可能会否认口头协议的存在或内容，导致法院难以认定事实。
   • 即使法院认定了口头协议的存在，如果对方没有履行能力或拒绝履行，您可能需要通过强制执行等程序来维护自己的权益，这也会增加一定的时间和成本。

行动建议：

• 尽快收集证据：如上所述，您应尽快尝试收集与事故及口头私了协议相关的证据，包括录音、目击者证言、监控录像等。
• 咨询专业律师：在收集证据和准备起诉的过程中，您可以咨询专业律师的意见，以确保您的权益得到充分保护。律师可以帮助您评估证据的充分性、制定诉讼策略，并代表您进行诉讼活动。
• 考虑其他解决方式：如果起诉的难度较大或成本较高，您也可以考虑与对方再次协商，尝试达成书面协议或寻求其他解决方式，如通过交警部门调解等。

后续思考：

• 在未来的交通事故中，建议您尽量与对方签订书面协议，以明确双方的权利和义务，避免口头协议带来的举证困难。
• 如果发生事故后对方提出私了，您应谨慎考虑并评估风险。在决定私了前，最好咨询专业律师的意见，以确保自己的权益得到充分保护。