纪委仅凭双方笔录认定男女关系是不合法的。具体分析如下：

一. 纪委的职责与权限

1. 纪委主要负责党的纪律检查工作，处理党内违纪案件，其职责并不包括认定男女关系的合法性。
2. 纪委在调查过程中，虽然可以收集证据，包括笔录，但其认定的事实和作出的处理决定主要限于党内纪律范畴。

二. 男女关系合法性的认定

1. 男女关系的合法性，通常涉及婚姻、家庭等法律关系，应由司法机关或相关行政部门根据法律法规进行认定。
2. 笔录作为证据之一，其真实性和证明力需要经过严格的法律程序和审查，不能仅凭双方笔录就作出认定。

三. 法律程序与证据要求

1. 根据《中华人民共和国民事诉讼法》等相关法律规定，证据的收集、审查、判断应当遵循法定程序，确保证据的真实性、合法性和关联性。
2. 男女关系的合法性认定，需要综合考虑多种证据，包括但不限于双方陈述、证人证言、书证、物证等，并经过法庭审理和质证程序。

综上所述，纪委仅凭双方笔录认定男女关系是不合法的。男女关系的合法性应由司法机关或相关行政部门根据法律法规进行认定，并遵循严格的法律程序和证据要求。如有进一步需要，您可以继续咨询我。