结论：是否要回去处理交通事故赔偿问题，需根据具体情况判断，但一般不建议直接回避。以下从多个角度为你分析并提供建议。
一、法律角度分析
赔偿义务与责任：
- 根据《中华人民共和国民法典》的相关规定，因交通事故造成他人损害的，应当承担赔偿责任。这包括医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。如果造成残疾或死亡，还应赔偿相应的残疾赔偿金或死亡赔偿金。
- 建议：作为事故责任方，你有义务承担相应的赔偿责任。回避不是解决问题的办法，反而可能加剧矛盾，甚至引发法律纠纷。
协商与调解：
- 在交通事故赔偿中，双方可以通过协商或调解的方式解决争议。这通常比诉讼更快捷、更经济。
- 建议：如果对方提出合理的赔偿要求，你可以考虑与其协商或接受调解，以达成双方都能接受的赔偿协议。
诉讼风险：
- 如果双方无法就赔偿问题达成一致，对方可能会选择通过法律途径解决，即提起民事诉讼。
- 建议：如果面临诉讼，你应积极应诉，提供相关证据证明自己的责任程度及赔偿能力。回避诉讼可能导致法院缺席判决，对你更为不利。
二、实际处理建议
了解对方诉求：
- 在对方来家里要赔偿时，首先了解对方的具体诉求和依据。这有助于你判断对方的合理性，并为后续协商或调解做好准备。
- 建议：保持冷静和礼貌，避免与对方发生冲突。可以要求对方提供相关的医疗费用单据、误工证明等证据材料。
评估自身责任与赔偿能力：
- 根据事故责任认定书和对方的诉求，评估自己应承担的责任和赔偿能力。
- 建议：如果认为自己责任较轻或赔偿能力有限，可以与对方协商分期赔偿或降低赔偿金额。同时，也可以考虑寻求保险公司的帮助（如果购买了相关保险）。
寻求专业帮助：
- 如果你对法律程序或赔偿标准不了解，或者与对方无法达成一致，可以寻求专业律师的帮助。
- 建议：作为专业律师，我可以为你提供法律咨询、代理协商或调解、代理诉讼等全方位的法律服务。你可以直接向我咨询相关问题。
三、特殊情况处理
如果对方采取过激行为：
- 如果对方在索赔过程中采取过激行为（如威胁、恐吓、骚扰等），你可以及时报警并保留相关证据。
- 建议：在这种情况下，保护自己和家人的安全是首要任务。同时，也可以考虑通过法律途径追究对方的法律责任。
如果涉及刑事责任：
- 如果交通事故造成严重后果（如死亡或重伤），且你负有主要或全部责任，可能构成交通肇事罪。
- 建议：在这种情况下，你应积极配合公安机关的调查和处理工作，并寻求专业律师的帮助以减轻或免除刑事责任。
总结与进一步行动建议：面对交通事故赔偿问题，回避不是解决问题的办法。你应该积极了解对方诉求、评估自身责任与赔偿能力，并寻求专业帮助以妥善处理争议。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。