结论：和有家庭的男人同居，即便他们有离婚协议书，在特定情况下仍可能涉及违法或违反公序良俗的问题，具体需结合实际情况判断。以下从不同角度为你详细分析：
一、离婚协议书的法律效力
离婚协议书是夫妻双方在离婚过程中，就财产分割、子女抚养、债务承担等事项达成的书面协议。离婚协议书在双方签署并办理离婚登记手续后生效，对双方具有法律约束力。然而，在离婚登记手续办理完成之前，离婚协议书并不具有法律效力，双方仍然是法律上的夫妻关系。
二、同居行为的法律性质
如果男方尚未办理离婚登记手续：
- 此时，男方与妻子仍然是法律上的夫妻关系。你与男方同居，可能构成“有配偶者与他人同居”的情形，这违反了《中华人民共和国民法典》中关于夫妻忠实义务的规定，虽然不直接构成犯罪，但可能面临道德谴责，并在离婚诉讼中作为男方过错的有力证据，影响财产分割和子女抚养权的判定。
- 如果以夫妻名义共同生活，还可能涉嫌重婚罪，根据《中华人民共和国刑法》第二百五十八条的规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。
如果男方已经办理离婚登记手续：
- 此时，男方与妻子已经解除婚姻关系，你与男方同居不再涉及违法问题。但需要注意的是，即使离婚协议书已经生效，如果男方在离婚过程中存在隐瞒、欺诈等行为，导致离婚协议书内容显失公平，妻子仍有权通过法律途径寻求救济。
三、法律建议
- 核实离婚状态：在与有家庭的男人同居前，务必核实其是否已经办理离婚登记手续，确保双方的关系合法合规。
- 了解离婚协议内容：如果男方已经办理离婚登记手续，建议了解离婚协议书的具体内容，特别是关于财产分割、子女抚养等事项的约定，以避免未来可能出现的纠纷。
- 遵守公序良俗：无论男方是否已经离婚，都应遵守社会公德和公序良俗，避免给他人带来不必要的伤害和困扰。
- 寻求法律帮助：如果你对同居行为的法律性质或可能面临的法律风险有疑问，建议及时咨询专业律师，以便获得更具体、更专业的法律建议。
最后，婚姻家庭关系复杂多变，涉及诸多法律问题和情感纠葛。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询，我会尽我所能为你提供专业、全面的法律服务。