与有轻度精神障碍的人发生关系是否违法，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：

1. 若对方具备完全民事行为能力：

   • 轻度精神障碍并不必然导致一个人丧失完全民事行为能力。如果经过专业鉴定，该人虽然患有轻度精神障碍，但仍然具备完全民事行为能力，即能够完全辨认自己的行为，那么与其发生关系，在双方自愿且没有其他违法情形（如利用对方不知情、利用对方处于危困状态等）的情况下，通常不构成违法。

2. 若对方不具备完全民事行为能力：

   • 如果轻度精神障碍导致该人丧失或部分丧失民事行为能力，即无法完全辨认或不能辨认自己的行为，那么与其发生关系就可能涉及违法。具体来说：
     • 若对方为限制民事行为能力人：即能够部分辨认自己的行为，但与其年龄、智力、精神健康状况不相适应的民事法律行为，需要经法定代理人同意或者追认后有效。在这种情况下，如果与其发生关系未经其法定代理人同意，且该行为并非出于对方自愿（或对方无法表达真实意愿），则可能构成违法，甚至可能涉嫌犯罪，如强奸罪（如果使用了暴力、胁迫或其他手段）或奸淫幼女罪（如果对方是女性且年龄较小，尽管此罪名在现行法律中已并入强奸罪，但强调了对未成年女性的特殊保护）。不过，在实际情况中，对于限制民事行为能力人，更侧重于保护其权益，如果发生关系是基于双方自愿且未造成不良后果，可能不直接构成犯罪，但会受到道德和法律的谴责。
     • 若对方为无民事行为能力人：即完全不能辨认自己的行为，那么与其发生关系，无论是否自愿，都可能构成强奸罪或其他相关犯罪。因为无民事行为能力人无法表达自己的真实意愿，也无法理解性行为的含义和后果，因此与其发生关系是对其性自主权的严重侵犯。

法律建议：

• 在与有轻度精神障碍的人发生关系前，应确保对方具备完全民事行为能力，或者至少能够表达自己的真实意愿。
• 如果对对方的精神状态或民事行为能力有疑问，应寻求专业鉴定或咨询相关机构。
• 尊重对方的意愿和权益，避免利用对方的弱势地位进行任何形式的侵犯。

可能的法律后果：

• 如果与不具备完全民事行为能力的精神障碍者发生关系，可能面临刑事指控和相应的刑罚，如有期徒刑、拘役等。
• 除了刑事责任外，还可能承担民事赔偿责任，如赔偿对方的精神损害等。

总之，与有轻度精神障碍的人发生关系是否违法，需根据对方是否具备完全民事行为能力以及具体行为情况来判断。在任何情况下，都应尊重对方的意愿和权益，避免违法行为的发生。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。