结论：肇事者不给钱，直接找到他家去要钱并不是一个推荐的做法，这可能涉及侵犯他人隐私、扰乱他人生活秩序等法律问题，甚至可能引发新的纠纷。以下是从多个角度对此问题的详细分析：
一、法律角度
隐私权保护：
- 每个人的住宅都受法律保护，未经允许擅自闯入他人住宅或频繁打扰他人生活，可能构成对他人隐私权的侵犯。根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。
合法维权途径：
- 如果肇事者拒绝支付赔偿，您应该通过合法途径来维护自己的权益。这包括向法院提起诉讼，要求肇事者承担赔偿责任。在诉讼过程中，法院会根据事实和法律作出判决，如果肇事者不履行判决，您还可以申请强制执行。
二、实际操作角度
避免直接冲突：
- 直接找到肇事者家中要钱可能会引发双方的直接冲突，不利于问题的和平解决。在处理此类纠纷时，保持冷静和理性至关重要。
收集证据：
- 在采取任何行动之前，确保您已经收集了足够的证据来支持您的索赔请求。这包括事故现场的照片、医疗记录、警方报告等。这些证据将在诉讼过程中发挥关键作用。
寻求专业帮助：
- 考虑咨询一位专业律师，如我，来帮助您处理此事。律师可以为您提供法律建议，指导您如何收集证据、准备诉讼材料，并代表您与肇事者或其保险公司进行谈判。
三、可能后果角度
法律责任：
- 如果您擅自闯入肇事者家中或采取其他非法手段索要赔偿，您可能会面临法律责任，包括被指控侵犯他人隐私权、扰乱公共秩序等。
影响索赔进程：
- 非法行为可能会影响您的索赔进程，甚至导致您失去索赔的权利。法院在审理案件时，会考虑双方的行为是否合法、合理。
四、建议行动
发送律师函：
- 在律师的协助下，您可以向肇事者发送一封正式的律师函，要求其支付赔偿。律师函通常具有更强的法律效力，能够促使肇事者认真对待您的索赔请求。
提起诉讼：
- 如果肇事者仍然拒绝支付赔偿，您可以向法院提起诉讼。在诉讼过程中，您需要提供充分的证据来支持您的索赔请求，并遵循法院的判决和执行程序。
总结与启示：面对肇事者拒绝支付赔偿的情况，您应该保持冷静和理性，通过合法途径来维护自己的权益。直接找到肇事者家中要钱并不是一个明智的选择，它可能带来一系列不必要的法律问题和后果。相反，您应该寻求专业律师的帮助，通过法律手段来解决问题。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。