纪委不能仅凭双方笔录就认定男女关系，这样的认定方式可能缺乏足够的证据支持和程序正当性。

一. 证据充分性问题

1. 单一证据的证明力：在法律上，任何事实的认定都需要建立在充分、确凿的证据基础之上。双方笔录作为证据的一种，其证明力有限，特别是当笔录内容存在矛盾或不一致时，更不能作为认定事实的唯一依据。
2. 证据链的完整性：认定男女关系通常需要综合考虑多种证据，如当事人的陈述、证人证言、书证、物证、视听资料等，以形成完整的证据链。仅凭双方笔录，难以确保证据链的完整性和证明力的充分性。

二. 程序正当性问题

1. 调查程序的合法性：纪委在调查过程中，必须遵循法定的程序和要求，确保调查过程的公正、合法。如果调查程序存在瑕疵或违法，那么所取得的证据也可能因此失去法律效力。
2. 证据收集的合法性：双方笔录的取得必须符合法律规定，不能通过非法手段或侵犯当事人合法权益的方式获取。否则，这样的笔录不能作为认定事实的依据。

三. 法律依据与结论

• 根据《中华人民共和国公务员法》等相关法律法规，公务员的纪律处分必须建立在事实清楚、证据确凿的基础之上。因此，纪委在认定男女关系时，不能仅凭双方笔录，而应综合考虑多种证据，并确保调查程序和证据收集的合法性。

综上所述，纪委仅凭双方笔录认定男女关系是不妥当的。我建议纪委在调查过程中，应严格遵守法定程序，全面、客观地收集证据，以确保调查结果的公正性和准确性。如有进一步需要，您可以继续咨询我。