结论：针对您描述的情况，工人与公司签订了劳务合同后反过来向您索要剩余工资，这主要取决于您与工人之间的实际法律关系以及您与公司之间的约定。以下是从不同角度进行的分析和建议：
一、明确您与工人之间的法律关系
如果您与工人之间是雇佣关系：
- 即便工人与公司签订了劳务合同，但如果实际上您是在雇佣这些工人进行工作，那么您与工人之间就构成了雇佣关系。
- 在这种情况下，工人有权向您索要工资，因为您是他们的直接雇主。您需要依据与工人之间的约定或行业惯例，支付他们应得的工资。
- 如果您未按时支付工资，工人可能通过法律途径追讨，包括向劳动监察部门投诉或提起民事诉讼。
如果您与工人之间是中介或介绍关系：
- 如果您只是作为中介或介绍人，将工人介绍给公司，并且工人与公司之间直接签订了劳务合同，那么您与工人之间通常不构成雇佣关系。
- 在这种情况下，工人应该向公司索要工资，而不是向您。如果工人错误地向您索要工资，您可以向他们解释清楚您与他们之间的实际关系，并引导他们向公司追讨。
二、审查您与公司之间的约定
如果您与公司之间有明确的约定：
- 审查您与公司之间的合同或协议，看是否有关于工资支付、工人管理等方面的明确约定。
- 如果合同中明确规定了公司应直接支付工资给工人，或者您只是作为中介不承担工资支付责任，那么您可以据此向工人解释，并引导他们向公司追讨工资。
- 如果合同中规定了您需要承担部分或全部工资支付责任，那么您需要按照合同约定履行义务。
如果您与公司之间没有明确的约定：
- 如果没有明确的合同或协议规定工资支付责任，那么情况可能变得复杂。
- 在这种情况下，您可能需要与公司协商解决工资支付问题，或者寻求法律途径来明确责任归属。
三、法律建议与风险防范
保留相关证据：
- 无论您与工人之间是什么关系，都建议您保留与工人工作相关的所有证据，如工作记录、工资支付记录、合同或协议等。
- 这些证据在后续可能发生的纠纷中将起到关键作用。
及时沟通协商：
- 如果工人向您索要工资，建议您首先与他们进行沟通协商，了解他们的具体诉求和情况。
- 同时，也建议您与公司进行沟通，明确工资支付的责任归属和解决方案。
寻求法律帮助：
- 如果沟通协商无果，或者您认为自己可能面临法律风险，建议您及时咨询专业律师（即我本人，郭君律师，专注于劳动纠纷、公司事务领域）。
- 律师可以根据您的具体情况提供法律建议和解决方案，帮助您维护自身权益。
最后，我想强调的是，劳动纠纷和合同纠纷往往涉及复杂的法律关系和事实认定。因此，在处理这类问题时，建议您保持冷静和理性，及时寻求法律帮助以维护自身权益。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。