结论：对方骂人你推了他一下然后离开，这一行为可能违法，具体是否违法及违法程度取决于推搡行为造成的后果。

详细分析：

1. 推搡行为的法律性质：

   • 推搡行为，即便是在对方先骂人的情况下，也属于动手打人的范畴，只是程度相对较轻。这种行为可能侵犯他人的身体权，根据《中华人民共和国治安管理处罚法》的相关规定，可能面临法律处罚。

2. 可能的法律后果：

   • 情节较轻：如果推搡行为没有造成对方身体伤害或伤害轻微，一般属于违反治安管理的行为。依据《中华人民共和国治安管理处罚法》第四十三条，可能面临五日以下拘留或者五百元以下罚款的处罚。但考虑到情节显著轻微，且双方能够达成和解，公安机关可能会酌情不予处罚。
   • 情节较重：如果推搡行为导致对方受伤，哪怕只是轻微伤，也可能面临更严重的处罚，如五日以上十日以下拘留，并处二百元以上五百元以下罚款。若造成轻伤及以上后果，则可能涉嫌构成故意伤害罪，需要承担刑事责任。

3. 合法维权途径：

   • 面对他人的辱骂，应当保持冷静和理智，通过合法途径来维护自己的权益。你可以要求对方停止侵害、赔礼道歉，这是最直接且和平的解决方式。
   • 如果对方持续辱骂或推搡行为升级，你可以寻求相关部门（如公安机关、调解机构）的帮助，他们可以介入调解，制止侵权行为，并依法对侵权者进行处理。

4. 特殊情况考虑：

   • 如果推搡行为是在自卫或紧急避险的情况下发生的，且没有超过必要的限度，那么可能不构成违法或犯罪。但这种情况需要具体分析，且自卫或紧急避险的认定需要严格的法律条件。

建议与总结：

• 无论在任何情况下，动手打人（包括推搡）都是不可取的行为。它可能让你陷入不必要的法律纠纷和经济损失中。
• 面对他人的辱骂或挑衅，应保持冷静和理智，通过合法途径来维护自己的权益。避免情绪激化导致行为失控。
• 如果已经发生了推搡行为，且对方表示不满或要求赔偿，建议尽快与对方沟通协商，寻求和解。如果无法达成和解，可以寻求法律援助或报警处理。

总之，尊重他人的权利和尊严，遵守法律法规，以和平、理性的方式解决争端和问题是我们每个人应尽的责任。如果你有任何法律问题或需要进一步的法律建议，请直接向我咨询。