结论：网约车线下交易后又把钱退给乘客，是否会被处罚取决于多种因素，包括当地交通管理部门的规定、网约车平台的规定以及交易的具体情况等。以下是对此问题的详细分析：
一、当地交通管理部门的规定
合规性要求：网约车运营必须遵守当地交通管理部门的规定，包括线上接单、计价、支付等流程。线下交易可能违反了这些规定，因为线下交易往往绕过了平台的监管和计价系统。
处罚措施：如果当地交通管理部门明确禁止网约车线下交易，并且对此类行为有明确的处罚措施，那么即使司机事后将钱退给乘客，也可能面临罚款、扣分或其他行政处罚。
二、网约车平台的规定
平台政策：网约车平台通常有自己的规定，要求司机必须通过平台接单和完成交易。线下交易可能违反了平台的政策，导致司机受到平台的处罚，如警告、罚款、暂停接单或解除合作等。
退款与处罚的关系：即使司机事后将钱退给乘客，这并不一定能够免除其因违反平台政策而应承担的责任。平台可能会根据具体情况，对司机进行相应的处罚。
三、交易的具体情况
交易性质：如果线下交易是乘客主动提出的，并且司机在交易前已经明确告知乘客线下交易的风险和可能面临的处罚，那么司机在事后退款的情况下，可能面临的处罚会相对较轻或甚至免于处罚。但这并不意味着线下交易就是合法的或被鼓励的。
证据留存：如果司机能够提供充分的证据证明自己是在乘客的主动要求下进行线下交易的，并且事后已经及时退款，那么这些证据可能在交通管理部门或网约车平台进行调查时起到一定的作用，有助于减轻或免除处罚。
四、法律建议
遵守规定：作为网约车司机，应严格遵守当地交通管理部门和网约车平台的规定，避免进行线下交易等违规行为。
保留证据：如果确实发生了线下交易，并且事后需要退款给乘客，建议司机保留好相关证据，如交易记录、退款凭证等，以备不时之需。
及时沟通：如果面临交通管理部门或网约车平台的调查或处罚，司机应及时与相关部门或平台进行沟通，说明情况并提供证据，以争取减轻或免除处罚。
总结来说，网约车线下交易后又把钱退给乘客，是否会被处罚并没有一个确定的答案。它取决于多种因素的综合考量。因此，作为网约车司机，应严格遵守相关规定和政策，避免进行违规行为，以维护自己的合法权益和行业的健康发展。如果您对此有任何疑问或需要进一步的法律帮助，请随时向我咨询。