可以起诉前夫。 前夫在没有事实依据的情况下，散布您与其他男人有染的言论，这很可能构成对您名誉权的侵犯，您有权通过法律途径来维护自己的合法权益。以下是从不同角度对此问题的详细分析：
一、名誉权侵权
名誉权定义：名誉权是指公民或法人保持并维护自己名誉的权利。它是人格权的一种，受到法律的保护。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
侵权行为认定：前夫在没有确凿证据的情况下，散布您与其他男人有染的言论，这种行为很可能被认定为诽谤，即故意散布虚构的言论，损害您的名誉。如果这种言论在您的社交圈或公共场合广泛传播，并对您造成了负面影响，如社会评价降低、精神损害等，那么前夫的行为就构成了对您名誉权的侵犯。
法律后果：根据《中华人民共和国民法典》的相关规定，侵害他人名誉权的，应当承担侵权责任。这包括停止侵害、赔礼道歉、消除影响、恢复名誉以及赔偿损失等民事责任。如果前夫的行为情节严重，还可能构成诽谤罪，需要承担刑事责任。
二、起诉流程与建议
收集证据：在起诉前，您需要收集足够的证据来证明前夫的侵权行为。这包括但不限于：前夫散布谣言的聊天记录、录音、视频等；证人证言，如知道此事的亲友或邻居的证言；以及因前夫的谣言而给您造成的具体损失，如精神损害赔偿的依据等。
咨询律师：在起诉前，建议您咨询一位专业的律师，如我本人，来帮助您评估案件的可行性、制定诉讼策略以及准备诉讼材料。律师可以为您提供专业的法律意见，并帮助您更好地维护自己的权益。
提起诉讼：在收集到足够的证据并咨询律师后，您可以向法院提起诉讼，要求前夫承担侵权责任。在诉讼过程中，您需要按照法院的要求提交证据、参加庭审等。
执行判决：如果法院最终判决前夫承担侵权责任，但前夫拒不履行判决，您可以向法院申请强制执行，要求前夫履行判决义务。
三、注意事项
及时行动：名誉权侵权案件具有时效性，建议您在发现前夫的侵权行为后及时采取行动，以免错过诉讼时效。
保持冷静：在处理此类纠纷时，保持冷静和理性至关重要。避免与前夫发生直接冲突或采取过激行为，以免加重纠纷或给自己带来不必要的麻烦。
寻求支持：在处理此类纠纷时，您可以寻求家人、朋友或专业人士的支持和帮助。他们可以为您提供情感上的支持、法律上的建议或实际上的协助。
作为吕巧梅律师，我建议您在遇到此类问题时及时咨询专业律师并采取行动来维护自己的合法权益。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。