首先，我可以明确地告诉你，仅仅因为你在开车时差一点撞到路上行人，并且没有说话，这并不意味着行人会报复你。行人的行为是无法预测的，但我们可以从法律和心理两个角度来分析这个问题。

从法律角度来看：

1. 无直接法律责任：你在描述中并未提到实际发生了碰撞或造成了任何伤害，因此，从法律上讲，你并没有直接的法律责任。
2. 无需担心报复的法律依据：行人如果因为这件事而对你进行报复，那么他的行为可能构成违法。我国法律保护公民的人身安全和财产安全，任何形式的报复行为都是不被允许的。

从心理角度来看：

1. 沟通的重要性：虽然你没有说话，但在某些情况下，与行人进行简单的沟通，如道歉或表达关心，可能有助于缓解紧张气氛，减少误解。
2. 不要过度担忧：过度担忧或焦虑并不利于问题的解决。你应该保持冷静，继续正常行驶，并时刻注意交通安全。

综上所述，你不需要担心行人会因为这件事而报复你。但为了确保自身和他人的安全，建议你在驾驶时始终保持警惕，遵守交通规则，确保行车安全。如果你还有其他关于交通法律或安全方面的问题，可以直接向我咨询。