当然需要写单子。当买方交了5万定金后违约，而卖方愿意退给买方3万，这实际上是一种双方对原定金条款的变更协议。为了确保双方的权益，明确各自的责任和义务，这种变更应当以书面形式记录下来。

具体来说，这个单子（协议）应当包含以下内容：

1. 双方的基本信息：包括买方和卖方的姓名、身份证号（或企业信息）、联系方式等，以便日后联系和确认身份。

2. 原合同简要说明：简要回顾原买卖合同的主要内容，特别是定金条款的部分，作为变更的基础。

3. 变更内容：明确说明原定金5万中，卖方同意退还买方3万，剩余的2万如何处理（如是否作为违约金、是否放弃追索等）。

4. 退款方式和时间：具体约定退款的支付方式（如银行转账、现金等）和退款时间，以确保卖方能够按时、按约退款。

5. 违约责任：约定如果卖方未按时退款或买方对退款有异议时的处理方式，以及可能产生的违约责任。

6. 争议解决方式：约定如果双方因退款事宜发生争议，应如何解决（如协商、调解、仲裁或诉讼等）。

7. 签字盖章：双方应当在协议上签字或盖章，以确认协议的有效性。

这样的书面协议不仅是对双方权益的保障，也是避免日后可能产生纠纷的重要依据。因此，建议买方和卖方在达成退款协议后，务必签订书面协议，并妥善保存。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。