结论：员工五年内被退回是否可以降职降薪，不能一概而论，这主要取决于退回的原因、劳动合同的约定以及相关法律法规的规定。以下从不同角度进行分析：

一、基于劳动合同的约定

1. 劳动合同有明确约定：

   • 如果劳动合同中明确规定了员工在特定情况下（如被退回）可以被降职降薪，且该约定不违反法律法规的强制性规定，那么用人单位在符合约定条件的情况下，可以对员工进行降职降薪。
   • 法律依据：根据《劳动合同法》的相关规定，劳动合同是劳动者与用人单位确立劳动关系、明确双方权利和义务的协议。双方应当按照劳动合同的约定，全面履行各自的义务。

2. 劳动合同无明确约定：

   • 如果劳动合同中没有明确约定员工被退回可以降职降薪，那么用人单位单方面对员工进行降职降薪可能构成违约行为，员工有权要求用人单位按照原劳动合同的约定履行义务。

二、基于退回的原因

1. 因员工过错被退回：

   • 如果员工因自身过错（如严重违反公司规章制度、失职等）被退回，且该过错与降职降薪有直接关联，用人单位在符合法律法规和劳动合同约定的情况下，可能可以对员工进行降职降薪。
   • 注意：即使员工有过错，用人单位的降职降薪行为也必须合法合理，不能滥用权利。

2. 非因员工过错被退回：

   • 如果员工被退回并非因其自身过错（如公司业务调整、部门撤销等），那么用人单位单方面对员工进行降职降薪可能缺乏合法依据，员工有权拒绝并要求用人单位按照原劳动合同的约定履行义务。

三、基于法律法规的规定

1. 降职降薪的合法性：

   • 根据《劳动合同法》等相关法律法规的规定，用人单位调整员工的工作岗位和薪酬待遇，应当遵循合法、合理、公平的原则，并与员工进行协商一致。
   • 如果用人单位未经员工同意，单方面对员工进行降职降薪，可能构成违法行为，员工有权向劳动争议调解仲裁机构申请仲裁或向人民法院提起诉讼。

2. 特殊情况下的降职降薪：

   • 在某些特殊情况下（如员工患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的），用人单位可以按照相关规定对员工进行降职降薪或解除劳动合同。但这种情况需要严格符合法律法规的规定，并履行相应的程序。

四、建议与措施

1. 对于员工：

   • 如果员工被退回并面临降职降薪的情况，首先应当查看劳动合同的约定，了解自己的权利和义务。
   • 如果认为用人单位的降职降薪行为违法或不合理，可以与用人单位进行协商沟通，寻求解决方案。
   • 如果协商无果，可以向劳动争议调解仲裁机构申请仲裁或向人民法院提起诉讼，维护自己的合法权益。

2. 对于用人单位：

   • 在对员工进行降职降薪前，应当仔细审查劳动合同的约定和相关法律法规的规定，确保自己的行为合法合理。
   • 如果确实需要对员工进行降职降薪，应当与员工进行充分的协商沟通，并履行相应的程序（如书面通知、听取员工意见等）。
   • 避免滥用权利或违反法律法规的规定，以免引发劳动争议和法律风险。

总结：员工五年内被退回是否可以降职降薪，需要根据具体情况进行判断。如果劳动合同有明确约定且符合法律法规的规定，或者员工因自身过错被退回且降职降薪与过错有直接关联，那么用人单位可能可以对员工进行降职降薪。但在其他情况下，用人单位单方面对员工进行降职降薪可能缺乏合法依据。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。