结论：不建议直接去对方家，但应积极面对并妥善处理此事，可以通过报警或联系保险公司等方式来处理。
分析：
法律责任角度：
- 在发生交通事故后，无论事故大小，双方都有义务停车并保护现场，同时及时报警并等待交警到来处理。您选择离开现场，可能构成“交通肇事逃逸”，即使事故并不严重。根据相关法律法规，逃逸行为可能会加重您的法律责任，包括但不限于罚款、拘留，甚至承担事故的全部责任。
- 对方邀请您去他家，可能是希望私下解决此事，但私下解决可能缺乏法律保障，且容易引发后续纠纷。例如，如果对方事后反悔或提出不合理的要求，您可能会陷入被动。
安全角度：
- 单独去对方家可能存在安全隐患。您不了解对方的真实意图和背景，直接前往可能会使自己处于不利境地。特别是在情绪激动或存在争议的情况下，单独会面可能加剧矛盾，甚至引发冲突。
建议处理方式：
- 报警处理：首先，您应该立即报警，说明事故情况，并等待交警到来处理。交警会出具事故责任认定书，明确双方的责任比例。这是解决交通事故纠纷的正规途径，也是保护您自身权益的有效方式。
- 联系保险公司：如果您的电动车购买了保险，应及时联系保险公司，告知事故情况，并按照保险公司的指导进行后续操作。保险公司会根据事故责任认定书进行赔付，减轻您的经济负担。
- 协商解决：在报警并等待交警处理的同时，您也可以尝试与对方进行协商，看是否能达成和解。但协商应在公开、透明的环境下进行，最好有第三方（如交警、保险公司人员）在场，以确保协商结果的公正性和有效性。
后续行动建议：
- 不要逃避责任，积极面对并妥善处理此事。逃避只会让问题变得更加复杂和棘手。
- 在处理过程中，保持冷静和理性，避免情绪化行为。与对方沟通时，尽量以平和的语气表达自己的观点和诉求。
- 如果对方提出不合理的要求或存在威胁、恐吓等行为，应及时向警方报告，并寻求法律帮助。
总之，面对交通事故纠纷，应通过正规途径解决，保护自己的合法权益。如果您在处理过程中遇到任何问题或需要进一步的法律帮助，可以直接向我咨询。