结论：能否要回之前违约多给的五千元，取决于多给款项的性质、双方协议内容以及是否存在可撤销或无效的情形。以下从不同角度进行分析：
一、多给款项的性质
若多给款项被视为违约金或赔偿金：
- 如果双方在合同中明确约定了违约金或赔偿金的数额，且你实际支付的金额超过了约定数额，那么超出部分可能被视为不当得利。
- 在此情况下，你可以要求对方返还超出部分的金额，因为对方没有合法依据占有这部分款项。
若多给款项被视为预付款或定金：
- 如果多给的五千元被视为预付款或定金，且后续交易已经完成（即东西已经卖给了对方），那么这部分款项可能被视为交易的一部分，难以直接要求返还。
- 但如果预付款或定金超出了合同约定的范围，且没有合法依据，你仍然可以要求返还超出部分。
二、双方协议内容
- 协议明确性：如果双方在协议中明确约定了多给款项的处理方式（如作为额外费用、折扣等），则应按照协议执行。
- 协议模糊性：如果协议中没有明确约定多给款项的处理方式，或者约定模糊不清，那么双方可能需要通过协商或诉讼来解决争议。
三、可撤销或无效的情形
- 显失公平：如果多给款项的行为导致双方权利义务显失公平（如你承担了过多的义务而对方获得了过多的利益），那么你可能可以请求法院撤销该行为或宣告其无效。
- 欺诈、胁迫或乘人之危：如果对方通过欺诈、胁迫或乘人之危的手段迫使你多给款项，那么该行为可能被视为无效，你可以要求返还全部多给款项。
四、法律建议
- 收集证据：首先，你需要收集相关证据，如合同、付款凭证、聊天记录等，以证明多给款项的事实和金额。
- 协商解决：尝试与对方进行协商，看是否能够达成一致意见并返还多给款项。
- 诉讼途径：如果协商无果，你可以考虑通过诉讼途径来解决争议。在诉讼过程中，你需要向法院提供充分证据来支持你的主张。
五、可能的法律后果
- 如果法院认定多给款项为不当得利：则对方需要返还多给部分的金额。
- 如果法院认定多给款项为交易的一部分或存在合法依据：则你可能无法要求返还全部或部分多给款项。
举例说明：假设你与对方签订了一份买卖合同，约定购买某物品的价格为1万元。但在实际交易过程中，你由于疏忽或误解多支付了5千元。如果双方没有就此事进行额外约定，且该多支付行为没有合法依据，那么你可以要求对方返还这5千元。
最后建议：如果你面临类似情况，建议先尝试与对方协商解决。如果协商无果，可以咨询我，提供详细的证据和情况说明，以便我能够为你提供更具体的法律建议。