针对您提出的“被害人没有动手被推倒怎么处理”这一问题，我们需要从法律的角度进行详细分析。

首先，要明确的是，对方倒地的缘由和经过是判断责任归属的关键。如果对方是因为自身疾病突发、不小心滑倒或其他与您无关的自身原因而倒地，那么通常情况下，您并不需要承担法律责任。

然而，如果您的行为对对方倒地产生了影响，比如您的言语或行为使对方受到惊吓而导致倒地，或者您的行为与对方倒地之间存在间接的因果关系，那么您可能需要承担相应的民事责任。这种责任可能包括赔偿对方因倒地而产生的医疗费用、误工费等损失。

但仅仅凭借“没动手对方倒了”这一简单描述，是无法确切认定法律责任的。我们需要综合考虑事发时的具体情况、双方的行为举止以及可能存在的证据。例如，是否有目击者可以证明事发经过，是否有监控录像记录下事发时的场景等。

如果双方就责任归属产生争议且无法协商一致，那么可能需要通过司法程序来解决。在这种情况下，法院会根据具体情况、证据以及相关法律法规来判定责任归属。

以您提到的类似案例为例，如果小李坚称是小胡的言语过激将自己吓到才倒地，而小胡则认为小李可能是自身不小心滑倒，双方无法协商一致，那么责任归属就可能陷入僵局。在这种情况下，如果无法通过协商解决，双方可能需要通过法律途径来维护自己的权益。

综上所述，对于“被害人没有动手被推倒”这一问题，我们需要根据具体情况来判断责任归属。如果无法确定责任归属，建议通过司法程序由法院进行判定。同时，我们也建议在日常交往中保持礼貌和克制，避免因为言语或行为不当而引发不必要的纠纷。