合同中约定用人单位在不用人的情况下可以将劳动者退回派遣公司，要判断公司是否实际‘用人’，可以从以下几个方面入手：

1. 实际工作安排：

   • 观察公司是否为你分配了具体的工作任务。如果公司长期没有给你安排任何工作，或者只是偶尔有零星任务，这可能表明公司并未实际使用你的劳动力。
   • 留意公司是否提供了必要的工作条件，如办公场所、设备、资料等。如果公司没有提供这些基本条件，也可能说明其并未真正需要你的服务。

2. 考勤与工作记录：

   • 查看你的考勤记录，包括出勤天数、工作时间等。如果考勤记录显示你长时间未出勤或出勤时间极短，这可能是一个信号。
   • 询问或查看公司是否有关于你工作表现的记录或评价。如果公司没有相关记录，或者评价内容空洞无物，也可能暗示公司并未真正关注你的工作。

3. 工资与福利发放：

   • 观察你的工资是否按时发放，以及工资水平是否与合同约定相符。如果公司长期拖欠工资或工资水平远低于合同约定，这可能表明公司并未真正需要你的劳动力，或者在经济上遇到了困难。
   • 留意公司是否提供了合同约定的福利待遇，如社保、公积金等。如果公司未提供这些待遇，也可能说明其并未真正履行用人义务。

4. 沟通与反馈：

   • 尝试与公司管理层或人力资源部门进行沟通，了解他们对你工作情况的看法和计划。如果公司无法给出明确的答复或计划，或者态度敷衍，这可能表明他们并未真正重视你的工作。
   • 留意公司是否对你的工作表现给予过反馈或指导。如果公司从未对你的工作提出过任何意见或建议，也可能说明其并未真正关注你的工作。

法律建议：

• 如果你怀疑公司并未实际使用你的劳动力，或者合同中的相关条款存在模糊或不合理之处，建议你首先与公司进行协商，寻求明确的答复和解决方案。
• 如果协商无果，你可以考虑向当地的劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
• 在整个过程中，务必保留好相关证据，如合同、考勤记录、工资单、沟通记录等，以便在需要时提供证明。

可能后果：

• 如果公司确实存在不用人却将你退回派遣公司的情况，且合同中有相关约定，你可能面临被退回派遣公司、失去工作机会的风险。
• 但同时，如果公司未能履行合同中的用人义务，你也可能有权要求公司承担违约责任，包括赔偿损失等。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。