结论：物业工作人员借了您的钱到时不还，您不可以直接将其抵扣物业费。

分析说明：

1. 债权债务关系的独立性：

   • 您与物业工作人员之间的借款关系，和您与物业公司之间的物业服务合同关系，是两个独立的法律关系。借款关系属于个人之间的债权债务，而物业服务合同关系则涉及您作为业主与物业公司之间的权利和义务。
   • 根据合同的相对性原则，每个合同都只能在其特定的当事人之间产生法律效力。因此，您不能将与物业工作人员之间的借款关系，直接与您与物业公司之间的物业服务合同关系相混淆或抵销。

2. 物业费的支付义务：

   • 作为业主，您有义务按照物业服务合同的约定支付物业费。这是您作为合同一方应履行的基本义务。
   • 如果您未按时支付物业费，物业公司有权根据合同约定或法律规定，采取相应的法律措施来追讨欠费，如发送催缴通知、提起诉讼等。

3. 借款纠纷的解决途径：

   • 如果您与物业工作人员之间的借款关系出现纠纷，您应该通过合法的途径来解决，如与对方协商、寻求调解、提起诉讼等。
   • 在借款纠纷解决过程中，您可以要求对方归还借款本金及可能的利息或违约金等。但这与您支付物业费的义务是分开的，不能相互抵销。

法律建议：

• 对于借款纠纷：建议您先与物业工作人员进行协商，尝试达成还款协议。如果协商无果，您可以考虑向调解机构申请调解或向人民法院提起诉讼，以维护自己的合法权益。
• 对于物业费支付：请您按照物业服务合同的约定，按时支付物业费。如果您对物业公司的服务有异议或认为物业费收取不合理，您可以通过合法途径提出异议或投诉，但不应以此为由拒绝支付物业费。

可能后果：

• 如果您擅自将借款与物业费相抵销，可能会面临物业公司采取法律措施追讨欠费的风险，同时您的借款纠纷也可能因此变得更加复杂和难以解决。
• 在极端情况下，如果您长期拒不支付物业费且情节严重，物业公司甚至可能通过法律途径申请强制执行或采取其他措施来维护自己的权益。

因此，建议您分别处理借款纠纷和物业费支付问题，通过合法途径维护自己的权益。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。