结论：快递员私自退回包裹且只通知发件人不通知收件人的行为，其合法性需根据具体情况来判断，但通常情况下，这种行为可能并不合法，至少是不符合快递服务行业的一般规范和消费者权益保护的原则。

分析角度一：快递服务合同的角度

1. 合同关系：当收件人（或发件人，如果是到付件或特定约定）与快递公司之间形成快递服务合同关系时，快递公司有义务按照约定的地址和时间将包裹送达收件人。这是快递服务合同的基本义务。

2. 通知义务：在包裹无法送达（如因收件人不在、地址错误等原因）时，快递公司通常有义务及时通知收件人或发件人，并根据合同约定或行业惯例采取进一步措施，如再次投递、留存待取或退回发件人等。但这一过程中，快递公司应确保通知的及时性和准确性，且通常应同时通知发件人和收件人（除非合同中有特别约定或法律另有规定）。

3. 私自退回：如果快递员在未充分履行通知义务的情况下私自退回包裹，这可能构成对快递服务合同的违约。因为这一行为剥夺了收件人知晓包裹状态并采取相应措施的权利。

分析角度二：消费者权益保护的角度

1. 知情权：作为消费者，收件人有权知晓其包裹的运输状态和最终处理结果。快递员只通知发件人不通知收件人的行为，侵犯了收件人的知情权。

2. 选择权：在包裹无法送达的情况下，收件人应有权选择是否接受退回、再次投递或其他处理方式。快递员私自退回包裹的行为，剥夺了收件人的这一选择权。

分析角度三：特殊情况下的合法性

1. 合同约定：如果快递服务合同中明确约定了在特定情况下（如收件人长期无法联系、地址错误且无法更正等）快递公司可以只通知发件人并退回包裹，且这一约定不违反法律、行政法规的强制性规定，那么快递员的行为可能是合法的。

2. 法律另有规定：在某些特殊情况下（如涉及违法物品、国家安全等），法律可能规定快递公司可以采取特定措施而无需通知收件人。但这种情况并不常见，且通常与一般的快递服务纠纷无关。

建议：

• 如果您作为收件人遇到了这种情况，首先应与快递公司联系，了解包裹被退回的具体原因和依据。
• 如果认为快递公司的行为侵犯了您的合法权益，您可以向快递公司提出投诉或要求赔偿。
• 如果问题无法得到妥善解决，您还可以考虑向消费者协会或相关监管部门投诉，甚至通过法律途径维护自己的权益。

总之，快递员私自退回包裹且只通知发件人不通知收件人的行为，在大多数情况下可能并不合法或至少不符合行业规范。如果您遇到了这种情况，建议及时采取措施维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。