即使交通事故没有物理碰撞且没有直接损失，如果双方都离开了现场，这种行为仍然可能构成肇事逃逸，因此建议报警。以下是详细分析：

1. 肇事逃逸的定义：

   • 肇事逃逸是指在交通事故发生后，一方当事人未依法留在现场配合处理，而是擅自离开的行为。这并不仅限于发生物理碰撞的事故，即使是没有直接碰撞但存在交通事故情形（如紧急避险、惊吓导致摔倒等），一方擅自离开也可能被视为肇事逃逸。

2. 法律后果：

   • 根据《中华人民共和国道路交通安全法》的相关规定，造成交通事故后逃逸，尚不构成犯罪的，公安机关将对其处以二百元到二千元罚款。这表明，肇事逃逸是一种违法行为，无论是否造成实际损失，都应承担相应的法律责任。

3. 报警的必要性：

   • 报警是保护自身权益和遵守法律程序的重要步骤。通过报警，警方可以介入调查，收集证据，并依法对逃逸者进行处理。这有助于维护交通秩序，保障公共安全，并可能为后续的法律程序提供有力支持。
   • 即使事故看似轻微且没有直接损失，报警也能确保事故得到妥善处理，防止潜在的纠纷和法律责任。

4. 建议与行动：

   • 如果遇到交通事故，即使没有物理碰撞或直接损失，也建议立即报警，并留在现场配合警方处理。
   • 在报警时，尽量提供详细的事故情况和对方车辆的特征信息（如车型、颜色、号牌等），以便警方能够更快地锁定逃逸者并进行查处。

综上所述，即使交通事故没有物理碰撞且没有直接损失，如果双方都离开了现场，仍然建议报警。这是为了遵守法律程序，保护自身权益，并维护交通秩序和公共安全。