核心结论：若借款时借错金额且款项已到本人账户，对于不需要的部分若想退还却面临违约金要求，需根据具体情况判断该违约金约定是否合法合理，再决定应对方式。以下分情况说明：

1. 若借款合同中明确约定了此类情况的违约金条款

- **合法合理情况**：如果违约金条款是双方在平等、自愿、公平的基础上协商确定的，且违约金数额没有过分高于实际损失（一般认为不超过造成损失的30%为合理范围），那么该违约金条款是有效的。此时，你若想退还多余款项，可能需要按照合同约定支付相应的违约金。
- **不合理情况**：要是违约金数额过高，远远超出了出借方因你多借款项而可能遭受的实际损失，你可以向法院或仲裁机构请求适当减少违约金。你需要收集相关证据，如出借方实际损失的证明等，来支持你的请求。

2. 若借款合同中没有明确约定此类情况的违约金条款

- **出借方要求支付违约金无依据**：在这种情况下，出借方要求你支付违约金是没有合同依据的。你可以拒绝支付，并明确告知出借方，双方应按照实际借款金额和约定来履行合同。如果出借方坚持要求支付违约金，你可以通过协商、调解或者诉讼等方式解决纠纷。
- **可能涉及的不当得利返还**：从法律角度讲，你多收到的借款属于不当得利，应当返还给出借方。但这与出借方要求支付违约金是不同的法律关系，不能因为要返还多余款项就必然要支付违约金。

3. 实际操作建议

- **与出借方友好协商**：首先，你可以尝试与出借方进行友好沟通，说明情况，表达你愿意退还多余款项的诚意，同时解释违约金要求不合理的原因，争取达成一个双方都能接受的解决方案，比如免除或降低违约金。
- **保留相关证据**：在整个过程中，要注意保留好与借款相关的所有证据，如借款合同、转账记录、沟通记录等。这些证据在后续可能出现的纠纷解决中会起到关键作用。
- **寻求第三方调解或法律途径**：如果协商无果，你可以考虑寻求第三方调解机构的帮助，如消费者协会、人民调解委员会等。如果调解也不成功，你可以向法院提起诉讼，通过法律途径来解决争议。

如果你在处理这个问题过程中遇到任何法律疑问或需要进一步的帮助，可以直接向我咨询，我会为你提供详细、专业的法律解答。