结论：行贿款被退回且行贿人没有谋取不正当利益的情况下，该款项是否需要上缴，需结合具体情形判断，但通常不需要直接上缴国库，但可能涉及其他处理方式。以下从不同角度详细分析：

1. 法律定性角度

• 行贿罪的构成要件：根据《刑法》第三百八十九条，行贿罪要求行为人“为谋取不正当利益”而给予国家工作人员财物。若行贿人未谋取不正当利益，且款项被退回，则可能不构成行贿罪（或犯罪未遂）。此时，款项性质更接近“不当得利”或“民事纠纷”，而非犯罪所得。
• 例外情形：若行贿行为已对国家工作人员职务行为的公正性造成实际损害（如对方已利用职务便利为行贿人谋利，即使未成功），则可能仍需追究刑事责任，但款项处理需结合具体案情。

2. 款项处理方式

• 无需上缴国库：若行贿行为未被认定为犯罪，且款项已退回，通常无需上缴国库。款项可能由办案机关（如纪委、监察委或公安机关）依法返还给行贿人，或作为证据暂扣后返还。
• 需上缴的情形：若行贿行为被认定为犯罪（如行贿未遂但情节严重），或款项被认定为违法所得（如行贿人通过其他手段获利），则可能需上缴国库。但此情形需以法院判决或行政处罚决定为依据。

3. 实务操作建议

• 主动配合调查：若行贿人接到办案机关通知，应如实说明款项来源、用途及退回情况，避免因隐瞒或虚假陈述被追究责任。
• 保留证据：行贿人应保留款项退回的凭证（如银行转账记录、收条等），以证明款项未被实际接受或用于非法目的。
• 咨询专业律师：若案件涉及复杂法律问题（如行贿与受贿的关联性、款项性质认定等），建议及时委托律师介入，通过法律程序维护权益。

4. 潜在法律风险

• 行政处罚风险：即使不构成犯罪，行贿行为仍可能违反《反不正当竞争法》或《行政机关公务员处分条例》等规定，面临行政处罚（如罚款、没收财物等）。
• 民事纠纷风险：若行贿款项涉及第三方（如中间人、企业账户等），可能引发民事纠纷，需通过诉讼或协商解决。

总结：行贿款被退回且未谋取不正当利益时，款项通常无需直接上缴国库，但需根据具体案情判断是否构成犯罪或涉及其他法律责任。建议行贿人主动配合调查、保留证据，并在必要时委托律师介入处理。如有进一步疑问，可直接向我咨询。