对于干部受贿20万元，几年后退给对方的情况，需分情况讨论处理方式：

1. 若在案发前退还，且无其他违法情节
   根据《刑法》第三百八十五条及司法解释，受贿罪的成立以“实际控制财物”为要件。若干部在收受财物后、被立案前主动退还，且无证据证明其利用职务便利为对方谋利，可能不构成受贿罪。但需注意：

   • 退还动机：若退还系因担心被查处（如听到风声），可能被认定为“畏罪退赃”，仍可能构成受贿罪，但量刑时可从轻处罚。
     
   • 时间间隔：退还时间越短，越可能被认定为“及时退还”；若间隔数年，需结合其他证据（如是否承诺为对方谋利、是否实际利用职务便利）综合判断。

2. 若在案发后退还，或退还后仍构成受贿罪
   若干部已被立案侦查或审判，此时退还赃款属于“退赃”情节，不影响受贿罪的成立，但可在量刑时作为从轻处罚的依据。根据《刑法》第三百八十六条及《最高人民法院、最高人民检察院关于办理贪污贿赂刑事案件适用法律若干问题的解释》，受贿20万元属于“数额巨大”，依法应处三年以上十年以下有期徒刑，并处罚金或没收财产。退赃可酌情减少基准刑的30%以下。

3. 需重点核查的其他情节

   • 是否为对方谋取利益：若干部收受财物后实际利用职务便利为对方谋利，即使退还，仍构成受贿罪既遂。
     
   • 是否存在“感情投资”：若对方以“人情往来”为名长期输送财物，干部未明确拒绝或收受后未退还，可能被认定为“受贿”。
     
   • 退还方式：若通过第三方退还或隐匿财物来源，可能涉嫌其他违法犯罪（如洗钱罪）。

建议：

• 干部应立即向纪检监察机关或司法机关主动说明情况，配合调查。
  
• 退还时应保留书面证据（如转账记录、收条、情况说明），并说明退还原因。
  
• 具体处理需结合案件细节（如退还时间、动机、是否谋利等），建议委托律师介入分析证据，争取从宽处理。
  

如有进一步疑问或需具体法律帮助，可直接向我咨询。