劳动部门不能仅凭残疾证直接认定工伤，工伤认定需依据法定程序和标准进行，残疾证仅作为伤残等级的辅助证明材料。以下是具体分析：

1. 工伤认定的法定程序
   根据《工伤保险条例》第十七条，工伤认定需由用人单位或工伤职工本人（或其近亲属、工会组织）向社会保险行政部门提出申请，并提交劳动关系证明、医疗诊断证明等材料。劳动部门会依据《工伤保险条例》第十四条、第十五条规定的情形（如工作时间受伤、职业病等）进行实质审查，而非仅凭残疾证直接认定。

2. 残疾证的作用
   残疾证是民政部门对公民残疾等级的认定文件，主要用于享受社会福利政策（如残疾补贴、无障碍设施使用等）。在工伤认定中，残疾证可作为证明职工伤残程度的辅助材料，但不能替代工伤认定的法定程序。例如，若职工因工受伤后未及时申请工伤认定，即使持有残疾证，劳动部门也不会直接补认工伤。

3. 伤残等级鉴定的区别
   工伤认定后，若需确定赔偿标准，需通过劳动能力鉴定委员会进行伤残等级鉴定（依据《工伤保险条例》第二十二条）。该鉴定与残疾证评定标准不同（前者针对工伤致残，后者涵盖各类残疾），且结果可能存在差异。因此，残疾证等级不能直接等同于工伤伤残等级。

建议行动：

• 若职工发生工伤，应优先通过单位或自行向劳动部门申请工伤认定，并提交完整材料（如事故报告、医疗记录等）；
  
• 若已持有残疾证，可在申请工伤认定时一并提交，作为伤残情况的参考；
  
• 对认定结果有异议的，可依法申请行政复议或提起行政诉讼。
  

如有进一步疑问，可直接向我咨询具体流程或证据准备细节。