结论：没有行贿的情况下，一般不会被要求退赃，但存在特殊情形可能导致退赃要求，需结合具体案情判断。以下从不同角度进行分析：

1. 一般情况：无行贿则无退赃义务

• 法律逻辑：退赃通常针对“违法所得”或“赃款赃物”，即通过犯罪行为直接获取的财物。若未实施行贿行为，则不存在因行贿产生的违法所得，自然无退赃义务。
• 举例说明：甲未向任何公职人员行贿，仅因工作关系与某官员有正常往来。后该官员因受贿被查，甲未被牵连，也未被要求退赃。

2. 特殊情形：可能被要求退赃的情况

• 情形一：被误认为行贿人
  • 法律分析：若侦查机关因证据不足或信息错误，将未行贿者列为嫌疑人，可能暂时扣押其财物作为“涉案款项”。但此时退赃非法律义务，而是程序性措施。
  • 应对建议：及时委托律师介入，通过证据证明无行贿事实，申请解除扣押或返还财物。
• 情形二：与行贿行为存在关联
  • 法律分析：若未行贿者明知他人行贿仍提供帮助（如转账、掩饰资金来源），可能被认定为共犯或帮助犯。此时，其获得的“好处费”或“报酬”可能被认定为违法所得，需退赃。
  • 举例说明：乙明知丙向官员行贿，仍协助丙将行贿款伪装成“咨询费”转账。后丙被查，乙可能因帮助行为被追责，并需退还其获得的“报酬”。
• 情形三：财产混同或利益输送
  • 法律分析：若未行贿者与行贿者存在经济往来（如共同投资、借贷），且行贿款来源于共同财产，可能被要求退还部分财产。但需证明财产与行贿行为的关联性。
  • 应对建议：通过财务审计、资金流向证明等证据，切割个人财产与行贿行为的关联。

3. 法律建议：如何应对退赃要求

• 核实主体身份：确认是否被错误列为嫌疑人或共犯。
• 审查证据链：要求办案机关出示证明你与行贿行为有关的证据（如转账记录、证人证言）。
• 主张权利：若确无行贿行为，可通过律师提出异议，申请复议或申诉。
• 谨慎处理财物：勿自行退还无关财物，避免被认定为“自愿退赃”而承担不利后果。

4. 可能的法律后果

• 无罪情况：若最终证明无行贿行为，退赃要求应被撤销，已退还财物可追回。
• 有罪情况：若被认定为共犯或帮助犯，退赃可能作为量刑情节（如从轻处罚），但需以法院判决为准。

总结：无行贿行为时，退赃要求缺乏法律依据，但需警惕特殊情形下的误认或关联追责。建议遇到此类问题时，及时咨询专业律师，通过法律程序维护权益。如有具体案情，可直接向我咨询。