私下议论他人的姓名、工作单位及婚外情，即使只是三个人私下进行，也可能构成对他人合法权益的侵犯。这里主要涉及到的是侵犯公民个人信息罪和侵犯名誉权的问题。
侵犯公民个人信息罪：
- 根据相关法律规定，非法获取、出售或者提供公民个人信息，情节严重的，可能构成侵犯公民个人信息罪。这里的“公民个人信息”，包括但不限于姓名、工作单位等能够识别特定自然人身份或者反映特定自然人活动情况的各种信息。
- 虽然你们只是私下议论，并没有公开传播或出售这些信息，但如果这些信息是通过非法手段获取的，或者你们的议论行为导致了这些信息的进一步扩散，都可能构成对公民个人信息的侵犯。
侵犯名誉权：
- 婚外情通常属于个人隐私范畴，受到法律的保护。如果你们在私下议论中，对涉及婚外情的当事人进行了不实指责或诽谤，损害了其名誉，那么还可能构成对名誉权的侵犯。
- 名誉权是公民依法享有的对自己所获得的客观社会评价、排除他人侵害的权利。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
因此，我建议你们在进行私下议论时，要尊重他人的隐私和合法权益，避免涉及敏感信息或进行不实指责。如果确实有需要讨论的问题，应该选择合法、合规的方式进行，并确保不会侵犯他人的合法权益。如果你有任何具体的法律问题或疑虑，可以直接向我咨询，我会为你提供更详细的法律解答和建议。