在行贿人不承认、受贿人承认并于被调查前退还钱物但无证据的情况下，纪委的处理方式需严格遵循证据规则和法定程序，具体分析如下：

一、证据规则下的处理原则

根据《中华人民共和国刑事诉讼法》第五十五条，对一切案件的判处都要重证据、重调查研究，不轻信口供。仅凭受贿人的口供而无其他证据支持，不足以认定行贿事实。证据确实、充分需满足以下条件：

1. 定罪量刑的事实均有证据证明；
2. 据以定案的证据均经法定程序查证属实；
3. 综合全案证据，对所认定事实已排除合理怀疑。

若纪委仅掌握受贿人的口供，而无行贿人的供述、书证、物证等其他证据，无法形成完整证据链，则不能认定行贿事实。

二、纪委可能采取的调查措施

1. 证据收集方向

纪委可重点收集以下证据，以补强案件事实：

• 书证：如行贿人与受贿人之间的转账记录、合同、往来函件等；
• 物证：如行贿的财物、礼品等；
• 证人证言：如知晓行贿事实的第三人证言；
• 视听资料或电子数据：如行贿人与受贿人的通话录音、聊天记录等；
• 受贿人退还钱物的痕迹：如退还时的见证人、退还方式（现金、转账）等。

若能收集到上述证据，即使行贿人不承认，也可认定行贿事实。

2. 侦查手段的运用

纪委可通过以下方式突破案件：

• 调查资金往来：核查行贿人与受贿人之间的资金流动，寻找异常交易；
• 调查业务关系：分析行贿人与受贿人是否存在利益输送关系；
• 讯问与政策教育：对行贿人进行讯问，并告知其抗拒调查的法律后果，促使其如实交代；
• 技术手段辅助：如司法审计、鉴定等，固定和挖掘证据。

三、不同诉讼阶段的处理方式

1. 侦查阶段

若纪委（或转交检察机关）在侦查阶段发现证据不足，无法证明行贿事实，应撤销案件。

2. 审查起诉阶段

检察机关在审查起诉时，若经二次补充侦查后证据仍不足，应作出不起诉决定；若在审查中发现证据不足，也可自行侦查或退回补充侦查。

3. 审判阶段

法院在审判时，若证据不足、不能认定被告人有罪，应作出无罪判决。同时，司法机关应继续收集证据，以查明事实真相。

四、法律后果与建议

1. 对行贿人的影响

若行贿人不承认行贿事实，但其他证据充分，行贿人仍可能被判定有罪。反之，若证据不足，则无法定罪。

2. 对受贿人的影响

受贿人承认受贿并退还钱物，若退赃及时且情节较轻，可能从轻、减轻或免除处罚。根据《刑法》第三百八十三条，犯贪污罪（包括受贿）在提起公诉前如实供述、真诚悔罪、积极退赃的，可从轻、减轻或免除处罚。

3. 建议

• 纪委应加大证据收集力度，充分利用现代技术手段调查资金和业务关系；
• 合理运用法律政策，在讯问行贿人时突破其心理防线；
• 若证据确实不足，应依法作出撤销案件、不起诉或无罪判决的决定，避免冤假错案。

若您或他人涉及此类案件，建议直接向我咨询，我将根据具体案情提供专业法律意见。