结论：是否要到男方家起诉，需根据具体情况判断，一般而言，离婚纠纷应向被告住所地或经常居住地法院起诉，不一定是男方家。
分析：
起诉地点的选择：
- 根据《中华人民共和国民事诉讼法》的相关规定，对公民提起的民事诉讼，由被告住所地人民法院管辖；被告住所地与经常居住地不一致的，由经常居住地人民法院管辖。这意味着，在离婚纠纷中，你通常需要向男方（被告）的住所地或经常居住地法院提起诉讼。
- 男方家并不一定是其住所地或经常居住地。如果男方家是其户籍所在地，且他长期居住在那里，那么你可以选择到男方家所在地的法院起诉。但如果男方已经搬离户籍所在地，并在其他地方长期居住，那么你应该选择他经常居住地的法院起诉。
起诉前的准备：
- 在决定起诉前，你需要收集相关证据，如男方不负责任的具体表现（如不履行家庭义务、虐待、遗弃等）、你们的婚姻状况证明（如结婚证）、以及可能涉及的财产分割、子女抚养等问题的证据。
- 你还可以考虑咨询专业律师，以获取更具体的法律建议和起诉策略。
起诉后的流程：
- 一旦你向法院提起诉讼，法院将受理案件，并通知男方应诉。在诉讼过程中，你需要按照法院的要求提供证据，参加庭审，并阐述你的诉求和理由。
- 法院将根据双方提供的证据和法律规定，作出判决。如果判决支持你的诉求，男方需要履行相应的义务；如果判决不支持你的诉求，你可以考虑上诉或其他法律途径。
建议：
- 在决定起诉前，先尝试与男方进行沟通，看是否能够通过协商解决问题。如果协商无果，再考虑起诉。
- 起诉前务必收集好相关证据，以确保你的诉求能够得到法院的支持。
- 如果你对法律程序不熟悉，建议咨询专业律师，以获取更具体的法律建议和帮助。
特殊情况：
- 如果男方下落不明或无法联系，你可能需要向法院申请宣告男方失踪或死亡，然后再根据相关法律规定处理离婚事宜。
- 如果涉及跨国婚姻或男方在国外居住的情况，起诉程序可能更加复杂，需要遵循国际私法或相关国家的法律规定。
总之，是否要到男方家起诉取决于男方的住所地或经常居住地。在决定起诉前，请务必收集好相关证据，并考虑咨询专业律师以获取更具体的法律建议。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。