结论：在开车不小心撞人且对方伤势不严重，但对方不愿意去交警部门处理的情况下，您应当采取一系列措施来确保自身权益并妥善处理事故。
一、法律义务与责任
事故报告义务：
- 根据《中华人民共和国道路交通安全法》的相关规定，发生交通事故后，无论事故大小，驾驶员都有义务立即停车，保护现场，并迅速报告执勤的交通警察或者公安机关交通管理部门。这是您的法定义务，必须履行。
伤者救治责任：
- 您已经采取了正确的第一步，即带伤者去医院进行检查。如果伤者伤势不严重但拒绝进一步治疗或去交警部门，您应记录下伤者的拒绝态度，并尽可能获取伤者的书面声明或录音录像作为证据，以证明您已尽到救治责任。
二、处理建议
主动联系交警部门：
- 尽管伤者不愿意去交警部门，您仍应主动联系交警部门，报告事故情况，并按照交警的指示行事。交警部门可以介入调查，出具事故责任认定书，这是后续处理事故和赔偿的重要依据。
保留证据：
- 保留所有与事故相关的证据，包括现场照片、伤者检查报告、医疗费用单据、与伤者的沟通记录等。这些证据将在后续处理中起到关键作用。
与伤者协商：
- 尝试与伤者进行友好协商，了解其不愿意去交警部门的原因，并解释去交警部门处理事故的必要性和重要性。如果伤者坚持不去，您可以告知其可能面临的法律后果，如无法获得应有的赔偿等。
寻求法律帮助：
- 如果伤者拒绝配合且事故处理陷入僵局，您可以考虑寻求法律帮助。律师可以协助您与伤者沟通，或者代表您向法院提起诉讼，要求伤者配合处理事故或承担相应责任。
三、可能的法律后果
如果未履行报告义务：
- 如果您未按照法律规定报告交通事故，可能会面临罚款、扣分甚至吊销驾驶证等处罚。同时，如果事故造成严重后果，您还可能承担刑事责任。
如果伤者后续提出索赔：
- 如果伤者后续提出索赔，而您未能提供充分证据证明自己已尽到救治责任和报告义务，您可能会面临不必要的赔偿责任。
建议行动：
- 立即联系交警部门报告事故情况。
- 保留所有与事故相关的证据。
- 尝试与伤者进行友好协商，解释去交警部门处理事故的必要性和重要性。
- 如果伤者坚持不配合，考虑寻求法律帮助以维护自身权益。
在处理此类事故时，请务必保持冷静和理性，按照法律程序行事。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。