结论：情人关系中男方去世后，女方和男方相互转钱的行为，家属是否会追究责任，这取决于转账的性质、金额、时间以及双方之间的约定等多种因素。以下从不同角度进行分析：
一、转账性质与家属追究责任的关系
赠与性质：
- 如果转账被认定为赠与，即男方自愿将财产无偿给予女方，且没有附加任何条件，那么这种赠与行为在法律上是有效的。
- 家属通常无法直接追究女方的责任，因为赠与行为是男方的个人意愿，且已经完成。但是，如果赠与行为发生在男方去世前不久，且金额巨大，家属可能会质疑赠与的合法性，尤其是如果男方在赠与时已经处于无民事行为能力或限制民事行为能力状态。
借贷性质：
- 如果转账被认定为借贷，即男方将钱借给女方，并约定了还款期限和利息等，那么女方有义务按照约定还款。
- 如果女方未按时还款，家属作为男方的继承人，有权要求女方还款，并可以通过法律途径追究女方的责任。
共同投资或生活费用：
- 如果转账是用于双方共同投资或生活费用，那么这种转账可能被视为双方之间的共同支出，家属通常无法直接追究女方的责任。
- 但是，如果家属能够证明转账是男方个人财产，且女方未用于共同目的，而是私自占有或挥霍，那么家属可能会要求女方返还部分或全部转账。
二、转账金额与时间的影响
- 金额大小：转账金额的大小可能会影响家属的追究意愿。如果金额较小，家属可能认为不值得追究；如果金额较大，家属则可能更倾向于通过法律途径维护自身权益。
- 转账时间：转账时间也是影响家属追究责任的重要因素。如果转账发生在男方去世前不久，且没有合理的解释或证据支持转账的合法性，家属可能会更加怀疑转账的动机和目的。
三、双方约定与证据的重要性
- 双方约定：如果双方之间有明确的约定，如赠与协议、借贷合同等，那么这些约定将成为判断转账性质的重要依据。
- 证据收集：无论是赠与还是借贷，双方都应该保留好相关证据，如转账记录、聊天记录、书面协议等。这些证据在发生纠纷时将起到至关重要的作用。
四、法律建议
- 保留证据：无论转账性质如何，女方都应该保留好相关证据，以备不时之需。
- 咨询专业律师：如果家属对转账行为提出质疑或要求返还，女方应该及时咨询专业律师，了解自己的权利和义务，并制定合适的应对策略。
- 协商解决：在可能的情况下，双方可以尝试通过协商解决纠纷，以避免不必要的法律诉讼和成本支出。
最后，情人关系中男方去世后，女方和男方相互转钱的行为是否会被家属追究责任，取决于多种因素。如果你面临这样的情况，建议直接向我咨询，我会根据你的具体情况提供详细的法律建议。