结论：行贿人退违法所得的时间，通常取决于案件的具体进展和司法机关的要求，一般会在司法机关认定行贿行为并要求退还时进行，也可能在行贿人主动自首或配合调查时提前退还。以下从不同角度详细分析：
一、司法机关要求退还的情况
侦查阶段：在侦查阶段，如果司法机关已经掌握了行贿人行贿的充分证据，并认定了违法所得的数额，可能会要求行贿人退还违法所得。这是为了确保案件的顺利进行，防止违法所得被转移或隐匿。
审查起诉阶段：在审查起诉阶段，如果检察机关认为行贿人的行为构成犯罪，并且违法所得需要追缴，也会要求行贿人退还。此时，行贿人需要配合检察机关的工作，按照要求退还违法所得。
审判阶段：在审判阶段，如果法院认定行贿人的行为构成犯罪，并判决追缴违法所得，行贿人必须在判决指定的期限内退还。如果行贿人拒不退还，法院可能会采取强制措施，如查封、扣押、冻结等，来追缴违法所得。
二、行贿人主动退还的情况
自首时退还：如果行贿人在自首时主动退还违法所得，这通常会被视为自首的一个积极情节，有助于减轻或免除其刑事责任。因为主动退还违法所得表明行贿人有悔罪表现，愿意承担法律责任。
配合调查时退还：在司法机关调查过程中，如果行贿人积极配合调查，并主动退还违法所得，这也可能被视为一个从轻处理的情节。因为配合调查和主动退还违法所得有助于司法机关查明案件事实，提高办案效率。
三、退还违法所得的法律后果
刑事责任：退还违法所得本身并不会直接免除行贿人的刑事责任，但可以作为量刑时的一个考虑因素。如果行贿人能够积极退还违法所得，并表现出悔罪态度，法院在量刑时可能会酌情从轻处理。
民事责任：除了刑事责任外，行贿人还可能面临民事责任。如果行贿行为给国家或他人造成了损失，行贿人需要承担相应的赔偿责任。退还违法所得并不等同于赔偿损失，但如果行贿人能够主动退还违法所得，并在民事赔偿中表现出诚意，也可能有助于减轻其民事责任。
建议：作为行贿人，在面临受贿被查的情况时，应积极配合司法机关的工作，按照要求退还违法所得。如果行贿人能够主动自首或配合调查，并积极退还违法所得，这有助于减轻或免除其刑事责任，并可能减少民事赔偿的数额。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。