不建议直接去车主家。虽然车主在交通事故后不管可能会让你感到愤怒和无奈，但直接去车主家可能并不是解决问题的最佳方式，甚至可能引发更多的纠纷和矛盾。

首先，从法律角度来看，交通事故的责任认定和赔偿处理需要遵循一定的法律程序。你应该及时报警，并由交警部门对事故进行责任认定。根据责任认定结果，你可以通过法律途径向车主主张赔偿。

其次，如果你直接去车主家，可能会遇到车主不在家、不愿意配合或者产生冲突等情况，这不仅无法解决问题，还可能让事情变得更加复杂。

因此，我建议你采取以下步骤来处理这个问题：

1. 及时报警：确保事故现场得到妥善处理，并获取交警部门的事故责任认定书。
2. 收集证据：包括现场照片、视频、目击者证言等，以便在后续的法律程序中证明你的权益。
3. 联系车主：尝试通过电话、短信或邮件等方式与车主取得联系，协商赔偿事宜。如果车主不配合，你可以考虑通过法律途径解决。
4. 寻求法律帮助：如果你在处理过程中遇到困难或者不确定如何操作，可以寻求专业律师的帮助。作为专业律师，我可以为你提供法律咨询和代理服务，帮助你维护自己的合法权益。

总之，处理交通事故需要耐心和理性。通过法律途径解决问题不仅更加公正和有效，也能避免不必要的纠纷和矛盾。