不可以直接只还本金而不还罚息，是否需要支付罚息需根据具体情况判断，以下分情况说明：
合同约定角度：
- 房贷合同是借款人与贷款银行之间明确双方权利义务的重要法律文件。在大多数房贷合同中，都会明确规定若借款人出现逾期还款等违约行为，银行有权收取罚息，并且罚息的计算方式、利率等也会有详细约定。
- 从合同约定的角度来看，借款人既然签订了房贷合同，就应当按照合同约定履行还款义务，包括按时偿还本金和利息，以及在出现违约情况时支付相应的罚息。如果只偿还本金而不支付罚息，就违反了合同约定，银行有权依据合同采取相应的法律措施来维护自身权益，比如继续追讨罚息、要求借款人承担违约责任等。
法律规定角度：
- 根据我国相关法律法规，借款人在借款合同约定的还款期限内未按时还款的，应当按照约定或者国家有关规定支付逾期利息，也就是罚息。这是法律对借款人违约行为的一种规制和惩罚措施，旨在保护贷款人的合法权益，维护金融市场的稳定。
- 如果借款人拒绝支付罚息，银行可以通过法律途径来解决纠纷，比如向法院提起诉讼，要求借款人偿还本金、利息以及罚息等。在诉讼过程中，法院会根据合同约定、法律规定以及实际情况来判决借款人是否需要支付罚息以及支付的具体金额。
协商解决角度：
- 虽然从合同和法律角度来说，借款人需要支付罚息，但在实际操作中，如果借款人确实因为一些特殊原因（如突发重大疾病、失业等）导致暂时无力偿还全部款项，包括罚息，可以尝试与银行进行协商。
- 借款人可以向银行说明自己的实际情况，提出减免部分罚息或者延长还款期限等请求。银行在综合考虑借款人的还款能力、信用状况等因素后，有可能会同意借款人的请求，与借款人达成新的还款协议。不过，这种协商解决的方式并不是绝对的，银行是否同意取决于多种因素，而且即使同意，也可能会要求借款人提供相应的证明材料或者采取一些保障措施。