结论：对方司机的行为是否构成肇事逃逸，需结合具体情况判断，但根据您描述的情形，对方司机声称不知道撞到车而直接开走，这一辩解在多数情况下难以成立，其行为很可能被认定为肇事逃逸。
法律背景与解释
肇事逃逸的定义：
- 根据《中华人民共和国道路交通安全法》的相关规定，肇事逃逸是指发生交通事故后，交通事故当事人为逃避法律追究，驾驶车辆或者遗弃车辆逃离交通事故现场的行为。
对方司机的行为分析：
- 主观方面：对方司机声称“不知道撞到车”，这需要结合现场情况、撞击力度、车辆损坏程度等因素来判断其说法是否合理。如果撞击明显，车辆损坏严重，那么对方司机声称不知道撞到车的辩解就难以成立。
- 客观方面：对方司机在撞击后直接开走，未停车查看、未报警、未留下联系方式，这些行为均符合肇事逃逸的客观表现。
法律后果：
- 如果对方司机的行为被认定为肇事逃逸，那么他将面临法律的严厉制裁，包括但不限于罚款、拘留、吊销驾驶证等。同时，在交通事故责任认定中，肇事逃逸方通常会被认定为全责或主要责任。
具体建议
收集证据：
- 您应尽快收集现场照片、视频、证人证言等证据，以证明对方司机的肇事逃逸行为。这些证据对于后续的责任认定和法律追究至关重要。
报警处理：
- 您应立即向警方报案，并提供对方司机的相关信息（如车牌号、车型、颜色等）。警方将展开调查，并根据调查结果依法处理。
咨询律师：
- 在处理此类交通事故时，建议您咨询专业律师（如我，徐新科律师，专注于民间借贷、交通事故领域），以了解您的合法权益和可能的法律后果。律师将为您提供专业的法律建议和帮助。
后续行动：
- 根据警方的调查结果和律师的建议，您可以决定是否向法院提起诉讼，要求对方司机赔偿您的损失。在诉讼过程中，您需要提供充分的证据来支持您的主张。
特殊情况讨论
- 如果对方司机确实不知道撞到车：
- 尽管这种情况较为罕见，但如果对方司机能够提供充分证据证明其确实不知道撞到车（如车辆损坏轻微、撞击声音不明显等），那么其行为可能不被认定为肇事逃逸。然而，在这种情况下，对方司机仍应承担一定的道德和法律责任，如协助调查、赔偿损失等。但具体责任需根据实际情况和法律规定来判断。
最后，我建议您在处理此类交通事故时保持冷静和理性，及时收集证据、报警处理，并咨询专业律师以获取专业的法律建议和帮助。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。