结论：男方是否有责任，不能仅凭遗书内容直接判定，需要结合具体事实和证据，从民事侵权和刑事责任两个角度进行综合分析。以下为详细分析：
一、民事侵权角度
一般侵权责任构成要件：
- 过错：男方是否存在过错行为，如长期虐待、精神控制、言语侮辱等，导致女方精神压力过大而自杀。
- 损害后果：女方的死亡是明确的损害后果。
- 因果关系：男方的过错行为与女方的自杀之间是否存在法律上的因果关系。这需要证明男方的行为对女方的自杀起到了实质性的推动作用，而非仅仅是诱因或背景因素。
- 行为违法性：男方的行为是否违反了法律或公序良俗，如是否构成家庭暴力、虐待等。
具体分析：
- 若遗书内容真实，且能与其他证据（如证人证言、医疗记录、心理评估报告等）相互印证，证明男方确实存在过错行为，且该行为与女方的自杀存在直接因果关系，则男方可能需承担民事侵权责任，包括赔偿女方家属因此遭受的损失，如丧葬费、精神损害抚慰金等。
- 若遗书内容无法得到其他证据的支持，或男方能证明其行为与女方的自杀无直接因果关系，如女方自杀系因自身心理疾病、生活压力等其他原因导致，则男方可能无需承担民事侵权责任。
二、刑事责任角度
故意杀人罪：
- 若男方存在故意杀害女方的行为，无论女方是否留下遗书，男方均构成故意杀人罪，需承担刑事责任。
- 但在此案例中，仅凭遗书内容无法证明男方存在故意杀害女方的行为，因此，从刑事责任角度，男方构成故意杀人罪的可能性较低。
虐待罪或遗弃罪：
- 若男方长期对女方实施虐待行为，如殴打、辱骂、限制人身自由等，导致女方不堪忍受而自杀，且虐待行为情节恶劣，则男方可能构成虐待罪。
- 若男方对女方负有扶养义务而拒绝扶养，情节恶劣，导致女方自杀，则男方可能构成遗弃罪。
- 但同样，需要具体证据证明男方的行为符合上述犯罪的构成要件。
过失致人死亡罪：
- 若男方因疏忽大意或过于自信的过失，导致女方自杀，如未及时发现女方的自杀倾向并采取有效措施进行阻止，但这种情况在司法实践中较为罕见，且需要具体证据证明男方的过失行为与女方的自杀之间存在直接因果关系。
三、建议
- 收集证据：女方家属应尽快收集相关证据，如遗书原件、证人证言、医疗记录、心理评估报告等，以证明男方的过错行为与女方的自杀之间存在因果关系。
- 咨询律师：建议女方家属咨询专业律师，了解具体法律程序和维权途径，以便更好地维护自身权益。
- 报警处理：若怀疑男方存在犯罪行为，如虐待、遗弃等，女方家属应及时向公安机关报案，由公安机关进行调查取证。
总结：男方是否有责任，需结合具体事实和证据进行综合分析。若您或您身边的人遇到类似情况，请直接向我咨询，我将根据具体情况提供专业的法律建议。