针对你提出的问题，首先明确一个结论：在没有买卖合同的情况下，对方要求你支付违约金通常是没有法律依据的。下面我详细解释一下：

1. 合同是违约金的前提：

   • 违约金是合同双方当事人在合同中预先约定的，当一方不履行合同或履行合同不符合约定时，应向对方支付的一定数额的金钱。
   • 因此，违约金的存在必须以合同为前提，没有合同就没有违约金的约定。

2. 你的还款行为：

   • 你已经将对方转给你的钱款退还，这表明你不愿意接受这笔款项，也没有与对方形成事实上的合同关系。
   • 你的还款行为是对对方转账的一种拒绝，而不是对合同的履行或违约。

3. 对方要求违约金的合理性：

   • 在没有合同的情况下，对方要求你支付违约金是没有法律依据的。
   • 如果对方坚持要求你支付违约金，你可以明确拒绝，并告知对方没有合同作为依据，其要求是不合理的。

4. 后续建议：

   • 如果对方继续纠缠或采取其他不当手段，你可以考虑寻求法律援助或报警处理。
   • 在未来，对于类似的转账或资金往来，建议你在明确双方权利义务关系后再进行，以避免不必要的纠纷。

综上所述，没有买卖合同作为前提，对方要求你支付违约金是不合理的。你可以明确拒绝对方的要求，并保留相关证据以备不时之需。如果有任何进一步的问题或需要法律帮助，请直接向我咨询。