不可以不管，必须及时处理该交通违法记录。以下是详细分析：
从法律责任主体角度：
根据《道路交通安全法》及相关规定，交通违法行为的处罚对象是实际驾驶人，而非车辆所有人（除非能证明车辆被盗抢等特殊情形）。因此，虽然您开的是别人的车，但作为实际逆行的驾驶人，您是该违法行为的责任主体，必须承担相应的法律后果。若不处理，该违法记录会一直挂在您的驾驶证名下，影响您的个人信用和驾驶资格。
从违法记录处理流程角度：
交通违法记录一旦生成，不会因您的不处理而自动消失。根据规定，您需要在规定期限内（一般为15日内）到指定地点接受处理，缴纳罚款并接受扣分。若逾期不处理，可能会面临以下后果：
- 滞纳金：逾期未缴纳罚款的，每日按罚款数额的3%加处罚款，但加处罚款总额不得超出罚款数额。
- 强制执行：若您仍不履行处罚决定，交通管理部门可能会申请人民法院强制执行。
- 驾驶证影响：长期不处理违法记录，可能导致您的驾驶证被暂扣、吊销或注销，影响您的正常驾驶。
- 从对车辆所有人影响角度：
虽然车辆所有人不是违法行为的直接责任人，但若您不处理违法记录，可能会给车辆所有人带来不必要的麻烦。例如，车辆所有人在办理车辆年检、过户等手续时，可能会因存在未处理的违法记录而无法办理。
建议：
- 及时处理：尽快到交通管理部门指定的地点接受处理，缴纳罚款并接受扣分。
- 保留证据：若您认为该违法记录有误（如被套牌等），可向交通管理部门提出申诉，并提供相关证据。
- 遵守交规：今后驾驶车辆时，务必遵守交通规则，避免再次发生类似违法行为。
若您还有其他疑问或需要进一步的法律帮助，请随时向我咨询。