行贿20万被退回，行贿人仍然需要承担法律责任。以下是对这一问题的详细分析：
行贿罪的构成与既遂：
- 行贿罪是指为谋取不正当利益，给予国家工作人员以财物的行为。一旦行贿人将财物给予国家工作人员，行贿行为即告完成，无论受贿人是否实际收受并占有该财物，行贿人都已构成了行贿罪。因此，行贿20万已远超立案标准（根据相关司法解释，数额在三万元以上的即应追究刑事责任），行贿行为已经完成并既遂。
- 受贿方后续退回财物的行为，并不能改变行贿行为本身的违法犯罪性质。但这一情节在对行贿人量刑时可能会被作为一个酌情从轻考虑的因素。
对非国家工作人员的行贿：
- 如果行贿行为针对的是非国家工作人员（如公司、企业或其他单位的工作人员），同样可能构成对非国家工作人员行贿罪。只要达到相应的入罪标准（例如，个人行贿数额在六万元以上的），即便财物被退回，也依然要追究法律责任。
行贿行为的法律后果：
- 根据《刑法》第三百九十条的规定，对犯行贿罪的，处五年以下有期徒刑或者拘役，并处罚金；因行贿谋取不正当利益，情节严重的，或者使国家利益遭受重大损失的，处五年以上十年以下有期徒刑，并处罚金；情节特别严重的，或者使国家利益遭受特别重大损失的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
- 行贿人在被追诉前主动交待行贿行为的，可以从轻或者减轻处罚。其中，犯罪较轻的，对侦破重大案件起关键作用的，或者有重大立功表现的，可以减轻或者免除处罚。但这一规定并不意味着行贿人可以逃脱责任追究，司法机关在量刑时会综合考虑退赃等情节。
实际案例与法律分析：
- 以小朱为例，小朱为了在项目招标中获取优势，向招标负责人小李行贿50万元。小李收下贿赂后，因担心事情败露，又将50万元退回给小朱。之后，此事被有关部门察觉并展开调查，小朱被依法追诉。小朱认为钱已退回，自己不应再被追究责任。但实际上，小朱给予小李财物的行贿行为完成即构成犯罪既遂，即便小李退回行贿款，也不影响行贿罪的成立。司法实践中，小朱退回行贿款这一情节在量刑时可作为从轻处罚的考量因素。
综上所述，行贿20万被退回，行贿人仍然需要承担法律责任。行贿行为的违法性不因受贿方是否实际收受或后续退回财物而改变。因此，建议行贿人及时认识到自己的错误，积极配合调查处理，并寻求专业的法律帮助以减轻可能的法律后果。如果您有进一步的法律问题或需要更详细的法律分析，请直接向我咨询。