结论：在对方逆行导致您摔倒的情况下，即使对方声称不是他的责任，您也不能直接离开，而应当根据实际情况采取相应措施以保障自身权益。以下从不同角度为您详细分析：
一、事故责任认定
逆行行为的违法性：
- 根据《中华人民共和国道路交通安全法》的相关规定，逆行是严重的交通违法行为，逆行者通常需承担事故的主要或全部责任。因此，在对方逆行导致您摔倒的情况下，对方很可能需承担事故责任。
事故现场处理：
- 在发生交通事故后，无论责任归属如何，双方都应立即停车，保护现场，并迅速报警。这是为了确保事故能够得到及时、公正的处理，避免后续纠纷。
- 如果您直接离开现场，可能会被视为逃逸行为，这将对您的权益产生不利影响，甚至可能承担法律责任。
二、您的权益保障
收集证据：
- 在事故现场，您应尽可能收集相关证据，如拍照、录像、记录对方车辆信息、目击者联系方式等。这些证据将在后续的事故责任认定和赔偿协商中发挥重要作用。
报警并等待交警处理：
- 报警后，交警将到达现场进行勘查，并根据事故情况出具事故责任认定书。这是确定事故责任的重要依据，也是您后续维权的基础。
医疗救治与赔偿协商：
- 如果您在事故中受伤，应及时就医并保存好医疗记录。在事故责任认定后，您可以与对方协商赔偿事宜。如果协商不成，您可以通过法律途径维护自己的权益。
三、可能面临的法律后果
如果您选择离开现场：
- 如前所述，离开现场可能被视为逃逸行为，这将导致您承担相应的法律责任，如罚款、拘留等。同时，逃逸行为还可能影响您后续的事故责任认定和赔偿请求。
如果对方拒绝承担责任：
- 如果对方拒绝承认事故责任或拒绝赔偿，您可以通过法律途径解决纠纷。这包括向法院提起诉讼、申请仲裁等。在诉讼过程中，您需要提供充分的证据来证明对方的事故责任和您的损失情况。
四、建议与措施
保持冷静并采取合理措施：
- 在发生事故后，请保持冷静，不要与对方发生争执或冲突。立即停车、保护现场、报警并等待交警处理是明智的选择。
积极维护自身权益：
- 在事故处理过程中，请积极维护自己的权益。不要因为对方声称不是他的责任就轻易放弃索赔请求。通过合法途径维护自己的权益是您的权利。
咨询专业律师（此处为符合常规表述，但按要求调整为鼓励向我咨询）：
- 如果您在事故处理过程中遇到任何疑问或困难，可以直接向我咨询。作为专业律师，我将根据您的具体情况提供有针对性的法律建议和帮助。
总之，在对方逆行导致您摔倒的情况下，您不能直接离开现场。而应当根据实际情况采取相应措施以保障自身权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。