首先明确结论：您开车不小心碰到别人手后直接离开，这一行为可能涉及交通肇事逃逸，需要您尽快采取措施以减轻可能的法律后果。
一、法律背景与可能后果
交通肇事逃逸的定义：
- 根据相关法律法规，交通肇事逃逸是指发生交通事故后，为逃避法律追究而逃跑的行为。这包括驾车逃逸、弃车逃逸以及潜逃藏匿等情形。
可能面临的法律后果：
- 行政处罚：根据《道路交通安全法》的相关规定，造成交通事故后逃逸，尚不构成犯罪的，由公安机关交通管理部门处二百元以上二千元以下罚款，并可以并处十五日以下拘留。
- 刑事责任：如果逃逸行为导致事故后果扩大，如造成人员重伤、死亡或公私财产重大损失，可能构成交通肇事罪，面临更严厉的刑事处罚。
- 民事责任：逃逸者通常需要承担事故的全部责任，赔偿受害人的损失。
二、您应采取的措施
立即返回现场：
- 如果您尚未远离事故现场，应立即返回，查看受害人的情况，并主动报警。
主动报警并说明情况：
- 无论是否返回现场，都应尽快拨打报警电话，向警方说明事故经过和您的位置。这有助于警方及时介入，调查事故原因，并减轻您的法律责任。
配合警方调查：
- 在警方到达后，应如实陈述事故经过，提供您的驾驶证、行驶证等相关证件。配合警方的调查工作，有助于澄清事实，减少误解。
积极赔偿受害人损失：
- 如果事故造成了受害人的损失，您应积极与受害人协商赔偿事宜。根据事故责任和受害人的损失情况，合理确定赔偿金额，并尽快履行赔偿义务。
三、特殊情况与建议
如果事故轻微且无人受伤：
- 即使事故轻微，您也不应直接离开。应下车查看情况，与受害人协商处理，或报警等待警方处理。直接离开可能被视为逃逸行为。
如果担心被误解或报复：
- 担心被误解或报复不是逃逸的合理理由。您应相信警方的公正处理，并积极配合调查。如果确实存在安全隐患，可以向警方说明情况，请求警方提供保护。
最后建议：作为驾驶员，在发生交通事故后，应保持冷静，立即停车查看情况，并主动报警。不要因担心责任或麻烦而选择逃逸，这只会让问题变得更加复杂和严重。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。