若对方声称你撞了他的车，但没有物证，仅有人证，你可以按照以下步骤处理：
保持冷静，要求对方提供证据：
- 面对此类指控，保持冷静至关重要，避免情绪化导致不必要的冲突。
- 你可以礼貌地要求对方提供撞车的确凿证据，如现场照片、视频录像、车辆损坏部位的详细描述及与你的车辆可能匹配的痕迹等。人证虽然可以作为证据之一，但单独的人证在缺乏其他物证支持的情况下，其证明力可能较弱。
检查自身车辆，拍照留存证据：
- 为确认是否有撞车痕迹，及时检查自己的车辆，特别是对方所指的碰撞部位。
- 拍照留存车辆现状，作为后续可能需要的证据。这些照片可以证明你的车辆在指控发生时的实际状况，有助于澄清事实。
如有必要，报警处理：
- 若对方无法提供充分证据且坚持指控，或者双方无法就事故情况达成一致，你可以选择报警。
- 报警后，交警部门会介入调查，根据事故现场情况、目击证人证言、车辆损坏情况等综合因素来推论与确定责任。在缺乏直接物证的情况下，交警的调查将更为关键。
了解可能的法律后果，积极配合调查：
- 在缺乏确凿证据的情况下，对方仅凭人证指控是难以直接追究你法律责任的。然而，若经调查确认确实存在撞车行为，则应根据实际情况承担相应的法律责任，如赔偿损失等。
- 因此，积极配合交警部门的调查，诚实陈述事实，是维护自身权益的关键。
考虑民事赔偿途径：
- 如果交警部门调查后无法确定责任，或者对方坚持要求赔偿但无法提供充分证据，你可以考虑通过民事诉讼途径解决。
- 在民事诉讼中，对方需要承担举证责任，证明你的撞车行为与其车辆损坏之间存在因果关系。如果对方无法提供充分证据，法院可能不会支持其赔偿请求。
额外建议：
- 加强沟通，尝试和解：在报警或诉讼之前，你可以尝试与对方进行沟通，了解其指控的具体依据和目的。如果可能的话，双方可以协商达成和解，避免不必要的法律纠纷。
- 咨询专业律师：虽然我在此提供了全面的法律建议，但每个案件的具体情况都有所不同。如果你对如何处理此类指控仍有疑问或担忧，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。
总结：面对对方无充分证据指控你撞车的情况，你应保持冷静，要求对方提供证据，检查自身车辆并拍照留存，必要时报警处理，并了解可能的法律后果。同时，考虑民事赔偿途径和加强沟通尝试和解也是不错的选择。如有需要，可以直接向我咨询以获取更专业的法律建议。