在我国法律框架下，双方有配偶而自愿发生的关系，并不直接构成犯罪，但可能涉及道德层面的谴责以及婚姻法上的相关责任。以下是对此问题的详细分析：

1. 法律定义与构成要件：

   • 从刑法角度来看，单纯的双方自愿发生关系，并不构成强奸罪、聚众淫乱罪等犯罪行为。强奸罪要求违背妇女意志，使用暴力、胁迫或其他手段强行与妇女发生性关系；而聚众淫乱罪则要求三人以上聚集在一起从事淫乱活动。因此，在双方自愿且没有涉及其他违法犯罪行为的情况下，法律上并不对此进行刑事处罚。

2. 婚姻法上的责任：

   • 虽然法律上不对双方自愿发生关系进行刑事处罚，但这种行为可能违反婚姻法中的忠诚义务。婚姻法规定，夫妻应当互相忠实，互相尊重。如果一方在婚姻关系存续期间与他人发生关系，可能构成对婚姻忠诚义务的违反，导致婚姻关系破裂。
   • 在离婚诉讼中，如果一方能够证明另一方存在婚外情行为，这可能成为法院判决离婚以及确定财产分割、子女抚养等问题的考虑因素。例如，根据《民法典》的相关规定，如果一方存在重大过错（如婚外情），导致离婚的，无过错方有权请求损害赔偿。

3. 道德层面的谴责：

   • 除了法律责任外，双方有配偶而自愿发生关系还可能受到道德层面的谴责。婚姻是社会的基本单元，夫妻之间的忠诚和信任是婚姻关系的重要基础。如果一方背叛了这种信任，不仅可能伤害到另一方的感情，还可能对家庭、子女以及社会风气造成不良影响。

4. 特殊情况下的法律责任：

   • 需要注意的是，如果双方自愿发生关系的过程中涉及到了其他违法犯罪行为（如使用暴力、胁迫手段、涉及未成年人等），则可能构成相应的犯罪行为，需要承担刑事责任。
   • 此外，如果一方在婚姻关系存续期间与他人以夫妻名义共同生活，可能构成重婚罪，需要承担刑事责任。

建议：

• 无论从法律还是道德层面考虑，双方有配偶而自愿发生关系都不是一种值得提倡的行为。它可能破坏婚姻关系的稳定性和信任基础，对家庭和社会造成不良影响。
• 如果您或您身边的人遇到了类似的问题，建议及时寻求法律帮助和心理咨询，以妥善处理相关问题并保护自己的合法权益。

如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。