结论：乘客没上车司机扣费后是否退回及是否扣分，需根据具体情况和平台规则来判断，无法一概而论。以下从不同角度进行分析：
平台规则角度：
- 不同的网约车或出租车平台，对于乘客未上车但司机已扣费的情况，有不同的处理规则。有些平台可能规定，若乘客未上车，司机需及时取消订单并退回费用，否则可能面临一定的处罚，包括但不限于扣分、罚款等。
- 有些平台则可能设有一定的缓冲期或特殊情况处理机制，如乘客因特殊原因未能及时上车，司机在确认后可不扣分或退回费用。
实际操作角度：
- 在实际操作中，若乘客未上车但司机已扣费，司机应首先尝试与乘客沟通，了解原因并协商解决方案。若乘客同意取消订单并退回费用，司机应按照平台规则操作，避免不必要的纠纷。
- 若乘客无法联系或拒绝取消订单，司机可根据平台规则，向平台客服反馈情况，并提供相关证据（如乘客未上车的照片、视频等），以便平台进行调查处理。
法律后果角度：
- 从法律层面讲，若司机无故扣费且拒绝退回，可能构成不当得利或欺诈行为，乘客有权向平台投诉或寻求法律途径解决。
- 若司机因操作失误或系统故障导致扣费，且及时采取措施退回费用并解释原因，通常不会面临严重的法律后果。但若司机故意隐瞒或拒绝处理，则可能面临平台的处罚及乘客的法律追责。
建议：
- 作为司机，在遇到乘客未上车但已扣费的情况时，应首先保持冷静，按照平台规则操作，及时与乘客沟通并协商解决方案。
- 若无法与乘客达成一致或乘客无法联系，应及时向平台客服反馈情况，并提供相关证据以便平台处理。
- 作为乘客，若遇到此类情况，也应保持冷静，首先尝试与司机沟通协商。若无法解决，可向平台投诉或寻求法律途径维护自己的合法权益。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。