别人退回你的快递，如果未经你同意或授权，可能构成违法行为。具体分析如下：

一. 退回快递的法律性质

1. 无权处分：如果别人未经你的同意或授权，擅自退回你的快递，这可能构成无权处分。无权处分是指没有处分权的人擅自处分他人的财产，这通常是不合法的。
2. 侵犯物权：根据《中华人民共和国民法典》第二百三十八条，侵害物权，造成权利人损害的，权利人可以依法请求损害赔偿，也可以依法请求承担其他民事责任。快递作为你的个人财产，未经你同意被退回，显然侵犯了你的物权。

二. 可能的法律后果

1. 承担民事责任：如果别人退回你的快递导致你遭受损失，你可以根据《中华人民共和国民法典》的相关规定，要求对方承担损害赔偿责任。
2. 行政或刑事责任：虽然退回快递本身可能不构成盗窃或诈骗等犯罪行为，但如果该行为伴有其他违法行为（如冒领、隐匿、毁弃等），则可能触犯《中华人民共和国治安管理处罚法》或《中华人民共和国刑法》的相关规定，从而面临行政或刑事责任。

三. 建议与结论

我建议，如果你发现有人未经你同意或授权擅自退回你的快递，你应及时与快递公司联系，了解退回的原因和具体情况。如果确实存在侵权行为，你可以考虑通过法律途径维护自己的合法权益。同时，也提醒大家在处理快递事务时，要遵守法律法规，尊重他人的财产权。

如有进一步需要，您可以继续咨询我。