结论前置：不可以仅以未签署借款合同为由拒绝支付利息，是否需要支付利息需结合具体情况判断。以下分情况详细说明：

1. 银行已实际履行放款义务，且双方存在事实借款关系
   根据《民法典》第六百六十七条，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。即使未签署书面合同，若银行已实际放款且借款人实际使用资金（如通过转账记录、还款记录等证据可证明），双方已形成事实借款关系。此时借款人仍需按银行同期贷款利率或双方口头约定的利率支付利息，否则可能构成违约，需承担逾期利息、违约金等责任。

2. 银行存在过错导致合同未签署（如未尽到提示义务）
   若银行因自身原因（如未明确告知利率、还款方式等关键条款）导致合同未签署，但已放款，借款人可主张利率约定不明。根据《民法典》第六百八十条，借款合同对支付利息没有约定的，视为没有利息；约定不明确的，可参照当地或当事人的交易方式、交易习惯、市场利率等因素确定利息。但此情形下，借款人仍需支付合理利息（如LPR利率），而非完全免息。

3. 银行违规放款（如未审核借款人资质）
   若银行违反监管规定（如未审核借款人还款能力、违规发放信用贷款），借款人可向监管部门投诉或通过诉讼主张合同无效。但需注意：

   • 合同无效仅导致超出法定利率部分无效（如民间借贷利率上限为LPR的4倍），而非完全免息；
     
   • 若银行存在重大过错，可能需承担部分损失，但借款人仍需返还本金及合理资金占用费（通常按LPR计算）。

建议行动：

1. 立即与银行沟通，要求补签合同或明确利率、还款方式等条款；
   
2. 保留所有转账记录、还款记录、沟通记录等证据；
   
3. 若对利息计算有异议，可申请第三方机构（如银行监管部门、司法鉴定中心）审计；
   
4. 若银行存在违规行为，可向当地银保监会投诉或通过诉讼解决。
   

温馨提示：借款关系中，利息支付是法定义务，仅以未签署合同为由拒付利息难以获得法律支持。建议优先通过协商解决，若协商无果，可进一步向我咨询具体维权方案。