结论：是否需要交违约金取决于您与平安银行签订的贷款合同中的具体约定。以下分情况详细说明：

1. 合同中有明确提前还款违约金条款
   如果贷款合同中明确约定了提前还款需支付违约金（例如按剩余本金的1%-3%收取），且您目前属于“提前还款”情形（即使未到还款期限但主动要求终止合同），则需按合同约定支付违约金。
   法律依据：根据《民法典》第677条，借款人提前返还借款的，除当事人另有约定外，应当按照实际借款的期间计算利息。但若合同明确约定了违约金，银行有权主张。

2. 合同未约定违约金或约定不明
   若合同未提及提前还款的违约金，或仅笼统约定“按银行规定执行”但无具体标准，则银行无权单方面要求您支付违约金。此时您只需偿还剩余本金及按实际借款天数计算的利息即可。
   实践建议：可要求银行提供违约金计算依据，若无法提供则可拒绝支付。

3. 特殊情形：贷款未发放或刚发放即要求退还

   • 若贷款资金尚未发放到您账户，您单方面要求终止合同，银行可能以“违约”为由要求赔偿实际损失（如已产生的评估费、手续费等），但通常不会按全额本金计算违约金。
     
   • 若贷款已发放但您未使用资金（如未提现或转账），仍需按合同约定履行还款义务，否则可能影响征信并产生逾期费用，但违约金仍以合同为准。

行动建议：

1. 立即查阅贷款合同中“提前还款”“违约责任”相关条款，明确违约金比例及计算方式；
   
2. 若合同条款模糊或银行要求不合理，可拨打平安银行客服热线（95511）要求书面说明违约金依据；
   
3. 如协商无果，可向当地银保监会投诉（12378）或通过诉讼主张权利。
   

提示：贷款合同是双方权利义务的核心依据，任何收费项目均需以合同约定为准，银行无权擅自增加费用。如有其他细节需要进一步分析，可直接向我说明合同条款内容。