纪委不能仅凭行贿人自己交代行贿行为就进行处罚。下面我详细为你解释一下：

首先，从法律程序的角度来看，任何对个人的处罚都需要有充分且确凿的证据。在刑事案件中，这通常意味着需要有多方面的证据来相互印证，形成完整的证据链。行贿人的自我交代，虽然是一种证据，但仅凭这一种证据是不足以支撑处罚决定的。

其次，纪委在调查职务犯罪等案件时，会遵循严格的法律程序和规定。他们会收集各种证据，包括但不限于书证、物证、证人证言、视听资料等。这些证据都需要经过严格的审查和核实，以确保其真实性和可靠性。

最后，即使行贿人自己交代了行贿行为，纪委也需要进一步调查核实，确认这一行为是否真实存在，以及是否构成犯罪。这包括了对行贿人的动机、行贿的具体金额、行贿的方式等细节的深入调查。只有在确认所有事实都清楚无误，且证据确凿的情况下，纪委才会依法对行贿人进行相应的处罚。

因此，你可以放心，纪委在处罚任何个人时，都会遵循严格的法律程序和规定，确保处罚的公正性和合法性。如果你有任何关于职务犯罪辩护的问题或疑虑，都可以直接向我咨询。