未经允许私自把快递退回，通常构成违法行为，并可能违反多项法律规定。以下从不同角度为您详细分析：
一、合同违约角度
寄件人与快递公司之间建立了运输服务合同关系。根据合同约定，快递公司有义务按照约定的收件地址、收件人等信息准确、及时地完成快件的投递。未经寄件人或收件人同意擅自退回快递，明显违反了这一合同约定，构成违约行为。快递公司可能需要承担因违约而产生的赔偿责任，包括但不限于赔偿因退回快递而导致的直接经济损失。
二、法律规定角度
《中华人民共和国民法典》：
- 根据《民法典》第八百三十二条，承运人对运输过程中货物的毁损、灭失承担赔偿责任。快递公司私自退回快递，如导致物品损坏或延误收件，需承担相应赔偿责任。
- 同时，《民法典》第二百三十八条也规定，侵害物权造成损害的，权利人可以请求损害赔偿。快递公司私自退回快递，侵犯了收件人的物权，收件人有权要求快递公司进行赔偿。
《中华人民共和国治安管理处罚法》：
- 依据《治安管理处罚法》第四十八条，冒领、隐匿、毁弃、私自开拆或者非法检查他人邮件的，将受到法律处罚。快递公司私自退回快递，属于私自处理他人邮件的行为，违反了该法规，可能面临五日以下拘留或者五百元以下罚款的处罚。
《快递暂行条例》：
- 《快递暂行条例》第二十七条明确规定了快件延误、丢失、损毁或内件短少的赔偿责任。快递公司私自退回快递，无论快件是否保价，都违反了该条例关于快件处理的规定。
- 此外，《快递暂行条例》第二十八条还要求快递公司保证与用户的联络畅通，提供业务咨询和快件查询服务。私自退回快件且未与用户沟通，也违反了此规定。
三、特殊情况下的合理性分析
尽管私自退回快递通常违法，但在某些特殊情况下，快递公司退回快递可能是合理且不违法的：
- 收件地址严重错误或无法联系到收件人，且经过合理尝试后仍无法完成投递，为避免损失扩大而退回。
- 快递物品本身属于违禁品，根据法律法规及公司规定不能继续运输，必须退回。
四、消费者维权途径
面对快递公司未经允许私自退回快递的行为，消费者可以采取以下措施维护自己的权益：
- 与快递公司协商：首先尝试与快递公司沟通协商，要求说明退回原因并合理赔偿损失。
- 向邮政管理部门投诉：如果协商无果，可以向当地邮政管理部门投诉，由其对快递公司的违法行为进行调查和处理。
- 提起诉讼：若消费者的权益仍未得到保障，可以依法向人民法院提起诉讼，要求快递公司承担法律责任并进行赔偿。
总结来说，未经允许私自把快递退回，通常构成违法行为，并可能违反合同约定以及多项法律规定。消费者在面对此类情况时，应积极采取措施维护自己的合法权益。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。