对方退回多发的20元，您应当领取。以下是对此问题的详细分析：

一. 法律角度分析

1. 不当得利：根据《民法典》第九百八十五条，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。在此情况下，对方多收的20元属于不当得利，应当返还给您。
2. 道德义务：从道德层面讲，对方退还多发的款项也是其应尽的义务，体现了诚信和公平原则。

二. 实际操作建议

1. 领取退款：当对方提出退还多发的20元时，您应当接受。这不仅是对对方诚信行为的肯定，也是维护自身权益的表现。
2. 沟通确认：在领取退款前，可以与对方进行简短的沟通，确认退款金额和方式，以确保双方无误解。

三. 可能的影响

1. 法律关系明确：通过领取退款，您与对方之间的法律关系得以明确，避免了未来可能出现的纠纷。
2. 维护信任关系：及时领取退款有助于维护您与对方之间的信任关系，为未来的合作或交往打下良好基础。

综上所述，当对方退回多发的20元时，您应当领取。这既是法律上的要求，也是道德上的体现。如有进一步需要，您可以继续咨询我。