单位调查男女关系所得的材料，在特定条件下可以作为证据使用，但需注意其合法性和关联性。

首先，从合法性的角度来看，单位调查男女关系必须遵循法律规定，不得侵犯他人的合法权益，尤其是隐私权。如果调查过程中存在非法手段或侵犯了他人隐私，那么所得的材料很可能被认定为非法证据，无法在诉讼中使用。

其次，从关联性的角度来看，单位调查所得的材料必须与待证的男女关系事实具有直接关联。也就是说，这些材料必须能够证明或反驳男女之间存在或不存在某种特定关系，或者为这种关系的存在或不存在提供重要线索。如果材料与待证事实无关，那么即使其合法，也不具有证据价值。

此外，还需要注意的是，即使单位调查所得的材料在合法性和关联性上都符合要求，但在诉讼中使用时仍需经过严格的质证程序。对方当事人有权对材料的真实性、合法性和关联性提出质疑，并要求法庭进行审查。只有经过法庭确认的材料，才能作为定案的依据。

因此，在处理这类问题时，建议咨询专业律师以获取更具体的法律意见。如果你有相关法律问题或需要进一步的帮助，请直接向我提问。