结论：单位并非只用伤残证而不安排工作，具体是否安排工作需结合伤残等级、单位实际情况及法律规定综合判断。以下从不同角度展开分析：

1. 伤残等级与工作安排的关系
   根据《工伤保险条例》第三十六条，职工因工致残被鉴定为五级、六级伤残的，单位应安排适当工作；难以安排的，需按月支付伤残津贴。若为七级至十级伤残，单位通常不强制安排工作，但需支付一次性伤残补助金，并在劳动合同期满或职工提出解除合同时支付一次性工伤医疗补助金和伤残就业补助金。
   关键点：伤残等级直接影响单位是否需安排工作，五级、六级伤残单位有法定安排义务。

2. 单位不安排工作的合法性分析

   • 合法情形：若职工伤残等级较低（如七级至十级），且单位已支付法定补偿（如一次性伤残补助金），单位可不安排工作。
     
   • 违法情形：若职工为五级、六级伤残，单位未安排工作且未支付伤残津贴，或以“只用伤残证”为由变相拒绝安排工作，则涉嫌违法。职工可向劳动监察部门投诉或申请劳动仲裁，要求单位履行义务。
     关键点：单位行为是否合法需结合伤残等级和补偿支付情况判断。

3. 职工的权益保障路径

   • 协商沟通：职工可与单位协商，要求根据伤残等级安排合适岗位或支付津贴。
     
   • 投诉举报：若单位拒不履行义务，职工可向当地劳动保障监察大队投诉，要求查处违法行为。
     
   • 仲裁诉讼：职工可申请劳动仲裁，主张单位支付伤残津贴、赔偿金等；对仲裁结果不服的，可向法院提起诉讼。
     关键点：职工应保留伤残鉴定报告、劳动合同等证据，以维护自身权益。

总结：单位是否仅用伤残证而不安排工作，需根据伤残等级和法律规定综合判断。若单位行为涉嫌违法，职工可通过协商、投诉或仲裁等途径维权。如有具体案件细节，可进一步向我咨询，我将结合实际情况提供详细解答。