结论：离退休不足3年的工伤人员，单位一般不可以随意让其下岗，但具体还需根据工伤人员的伤残等级、劳动合同情况以及单位的具体操作是否合法合规等因素来综合判断。
分析说明：
工伤人员的特殊保护：
- 根据《工伤保险条例》及相关法律法规，工伤人员在享受工伤保险待遇期间，包括医疗期、停工留薪期等，单位不得随意解除劳动合同或安排其下岗。这是为了保障工伤人员的基本生活和医疗需求，确保其能够得到及时的治疗和康复。
离退休不足3年的工伤人员：
- 对于离退休不足3年的工伤人员，他们通常已经接近或达到法定退休年龄，且可能因工伤导致劳动能力下降或丧失。在这种情况下，单位更应当考虑其特殊情况，给予适当的照顾和安排，而不是随意让其下岗。
单位让工伤人员下岗的合法性：
- 单位若要让工伤人员下岗，必须符合法律法规的规定，且通常需要经过一定的程序，如与工伤人员协商、支付相应的经济补偿等。如果单位未经合法程序或未支付经济补偿就擅自让工伤人员下岗，可能构成违法解除劳动合同，需要承担相应的法律责任。
伤残等级的影响：
- 工伤人员的伤残等级也是判断单位是否可以让其下岗的重要因素。如果工伤人员被鉴定为一级至四级伤残，他们通常享有保留劳动关系、退出工作岗位并享受相应伤残津贴的待遇。在这种情况下，单位显然不能让其下岗。对于五级至十级伤残的工伤人员，虽然他们可能继续在原岗位工作或经协商后调整岗位，但单位也不能随意解除劳动合同或安排其下岗。
特殊场景：
- 如果工伤人员因工伤导致完全丧失劳动能力，且已经达到或接近法定退休年龄，单位在与其协商一致并支付相应经济补偿的情况下，可能可以安排其提前退休或内退，但这并非严格意义上的“下岗”，且需要符合相关法律法规的规定。
行动建议：
- 如果您是离退休不足3年的工伤人员，且单位试图让您下岗，建议您首先与单位进行沟通协商，了解单位的具体意图和依据。
- 如果沟通无果或您认为单位的做法违法违规，您可以向当地的劳动保障监察部门投诉举报，或者申请劳动争议仲裁来维护自己的合法权益。
- 在整个过程中，建议您保留好相关的证据材料，如工伤认定书、劳动合同、工资单等，以便在需要时提供证明。
法律后果：
- 如果单位未经合法程序或未支付经济补偿就擅自让工伤人员下岗，可能面临劳动保障监察部门的处罚，包括罚款、责令改正等。
- 同时，工伤人员也有权要求单位继续履行劳动合同或支付相应的经济补偿和赔偿金。