结论：在此情况下，由于缺乏直接证据证明司机存在过错或责任，乘客在主张权利时可能会面临较大困难。不过，乘客仍可尝试通过收集间接证据、寻求目击者证言或报警处理等方式来维护自己的权益。以下是对此问题的详细分析：

一、证据的重要性

在交通事故责任认定中，证据是至关重要的。它直接关系到责任归属的判定以及后续赔偿等问题的处理。在此案例中，由于乘客让司机离开，且几天后司机不承认责任，同时又没有直接证据（如现场照片、视频、交警事故认定书等）来证明司机的过错，这使得乘客在主张权利时处于不利地位。

二、可能的间接证据收集

尽管缺乏直接证据，但乘客仍可尝试收集一些间接证据来支持自己的主张。这些间接证据可能包括：

1. 现场痕迹：如果事故现场留有摩托车摔倒的痕迹、乘客受伤的痕迹等，这些都可以作为间接证据。不过，随着时间的推移，这些痕迹可能会逐渐消失，因此应尽快收集。
2. 医疗记录：乘客因事故受伤后，应及时就医并保留好医疗记录。这些记录可以证明乘客受伤的事实以及受伤程度，从而间接证明事故的发生。
3. 通讯记录：如果乘客与司机在事故发生前后有通讯记录（如短信、电话记录等），这些记录可能包含有关事故的信息或双方对事故的态度，也可以作为间接证据。

三、目击者证言

如果事故发生时有目击者在场，乘客应尽快联系这些目击者并请求他们提供证言。目击者的证言可以作为直接证据来证明事故的发生以及司机的过错。不过，由于目击者的记忆可能会随时间模糊，因此应尽快收集证言。

四、报警处理

如果乘客在事故发生时未报警，但在事后意识到问题的严重性，仍可考虑向警方报案。警方会进行调查并尽可能收集证据，以判定事故责任。虽然时间已经过去几天，但警方仍可能通过调查现场、询问目击者等方式来获取相关信息。

五、法律建议

1. 尽快收集证据：乘客应尽快行动，收集上述提到的间接证据和目击者证言，以支持自己的主张。
2. 咨询专业律师：由于交通事故责任认定涉及复杂的法律问题，乘客在处理此类问题时，可直接向我咨询，我可以根据具体情况提供专业的法律意见和帮助。
3. 考虑和解或诉讼：根据收集到的证据和律师的建议，乘客可以考虑与司机进行和解或提起诉讼来维护自己的权益。不过，在决定采取何种行动前，应充分评估风险和收益。

六、可能的法律后果

如果乘客无法提供足够证据证明司机的过错，那么司机可能无需承担法律责任。相反，如果乘客能够提供充分证据支持自己的主张，那么司机可能需要承担相应的赔偿责任，包括医疗费用、误工费、精神损害赔偿等。