结论：工厂仅使用残疾人证而不用残疾人本人实际工作是不可以的，这种行为涉嫌违法。以下从不同角度为你详细分析：

从劳动法律关系角度

1. 建立真实劳动关系的要求 根据我国《劳动法》和《劳动合同法》的规定，用人单位与劳动者建立劳动关系，应当遵循合法、公平、平等自愿、协商一致、诚实信用的原则。这意味着工厂与残疾人之间需要建立真实的劳动关系，残疾人需要实际到岗工作，履行相应的劳动义务，工厂则需要支付劳动报酬、提供劳动保护和劳动条件等。如果工厂只是使用残疾人证，而不让残疾人本人实际工作，这显然没有建立真实的劳动关系，违反了法律规定。
2. 劳动合同的履行 一旦工厂与残疾人签订了劳动合同，双方就应当按照劳动合同的约定履行各自的义务。残疾人有义务按照合同约定提供劳动，工厂有义务按照合同约定支付工资、提供福利等。若工厂不安排残疾人工作，却利用其证件，属于不履行劳动合同义务的行为，残疾人可以依据法律规定要求工厂承担违约责任，如支付工资、赔偿损失等。同时，劳动行政部门也有权对工厂的这种违法行为进行查处。

从税收优惠和政策扶持角度

1. 税收优惠的条件 政府为了鼓励企业雇佣残疾人，会给予一定的税收优惠政策。但这些优惠政策是有条件的，通常要求企业实际雇佣了一定比例的残疾人，并且这些残疾人要在企业实际工作，为企业创造一定的价值。如果工厂只是使用残疾人证来获取税收优惠，而没有实际雇佣残疾人工作，这就属于骗取税收优惠的行为。一旦被发现，工厂不仅需要补缴税款、缴纳滞纳金，还可能面临罚款等行政处罚。
2. 政策扶持的合规性 除了税收优惠，政府还可能会在其他方面给予雇佣残疾人的企业政策扶持，如资金补贴、场地租赁优惠等。这些政策扶持同样要求企业实际雇佣残疾人并让其正常工作。工厂若通过不正当手段获取这些扶持，违反了政策规定，可能会被取消享受政策扶持的资格，并承担相应的法律责任。

从残疾人权益保护角度

1. 就业权的保障 残疾人享有与其他公民平等的劳动权利。工厂使用残疾人证而不用残疾人本人工作的行为，剥夺了残疾人实际就业的机会，侵犯了残疾人的就业权。残疾人可以通过法律途径维护自己的合法权益，如向劳动争议仲裁机构申请仲裁、向人民法院提起诉讼等。
2. 社会公平与正义 这种行为也不利于社会的公平与正义。政府出台相关政策鼓励企业雇佣残疾人，是为了促进残疾人融入社会，实现社会公平。工厂的这种违规行为破坏了这种公平环境，损害了其他合法雇佣残疾人的企业的利益，也影响了社会对残疾人就业的支持和信任。

如果工厂有雇佣残疾人的需求，一定要遵守法律法规，与残疾人建立真实的劳动关系，让其实际到岗工作。若你在这方面还有其他疑问，可以直接向我咨询。