被“戴绿帽子”（即配偶与他人发生不正当关系）本身，并不能直接作为起诉男方（即与配偶发生不正当关系的第三方）的法律依据。以下从不同角度为你详细分析：
一、民事角度
在民事法律关系中，通常涉及的是侵权责任。然而，单纯的配偶与他人发生不正当关系，并不直接构成对第三方（即你）的民事侵权。民事侵权一般要求有明确的损害后果，如身体伤害、财产损失等，并且这种损害后果需要与侵权行为有直接的因果关系。配偶的不忠行为虽然可能给你带来精神上的痛苦，但这种痛苦并不直接构成民事侵权上的损害后果，因此难以直接通过民事诉讼来追究男方的责任。
不过，如果配偶的不忠行为导致了你们夫妻关系的破裂，并且因此引发了财产分割、子女抚养等纠纷，你可以在这些纠纷中主张自己的权益。例如，在离婚诉讼中，你可以要求配偶因过错行为而少分或不分财产，但这并不是直接起诉男方，而是基于配偶的过错行为对夫妻关系的影响来主张权益。
二、刑事角度
从刑事法律关系来看，配偶与他人发生不正当关系，除非涉及到重婚等犯罪行为，否则一般不构成刑事犯罪。重婚罪是指有配偶而重婚，或者明知他人有配偶而与之结婚的行为。如果男方明知你的配偶已有配偶，仍与之以夫妻名义共同生活，那么男方可能构成重婚罪，你可以向公安机关报案，要求追究其刑事责任。但这种情况需要满足“以夫妻名义共同生活”的要件，单纯的婚外情并不构成重婚罪。
三、建议与措施
收集证据：如果你怀疑配偶与他人有不正当关系，并且这种关系可能对你的权益造成影响，你可以尝试收集相关证据。但需要注意的是，收集证据的过程必须合法，不得侵犯他人的合法权益。
咨询专业律师：在处理这类问题时，咨询专业律师是非常重要的。律师可以根据你的具体情况，为你提供法律上的建议和帮助，包括如何收集证据、如何主张自己的权益等。
考虑离婚：如果配偶的不忠行为已经严重影响了你们的夫妻关系，并且你无法忍受这种背叛，那么你可以考虑离婚。在离婚过程中，你可以主张自己的权益，包括财产分割、子女抚养等。
心理调适：面对配偶的不忠行为，你可能会感到愤怒、伤心等负面情绪。这时，你需要进行心理调适，寻求家人、朋友或专业心理咨询师的帮助，以度过这个难关。