结论：公司是否需要负责，取决于业务员的行为是否构成表见代理或公司是否存在管理过错，具体分情况讨论。以下从不同法律角度详细分析：

一、若业务员行为构成表见代理，公司需承担合同责任

1. 法律依据
   根据《民法典》第172条，行为人没有代理权、超越代理权或代理权终止后，仍以被代理人名义订立合同，相对人有理由相信行为人有代理权的，代理行为有效。此时合同直接约束公司与农民，公司需履行合同义务（如交付化肥），事后可向业务员追偿。

2. 构成要件

   • 外观授权：业务员需持有公司合同、授权书、工作证等足以让农民相信其有代理权的材料。
     
   • 农民善意：农民需尽到合理审查义务（如核对业务员身份、合同真实性），且无重大过失。
     
   • 公司过错：若公司未及时收回授权材料、未公示代理权终止信息，或存在管理疏漏，可能被认定为存在过错。

3. 示例
   若业务员长期以公司名义销售化肥，且持有加盖公章的空白合同，农民有理由相信其有代理权，此时公司需承担合同责任。

二、若业务员行为不构成表见代理，公司无需承担合同责任，但可能需承担管理过错责任

1. 公司无合同责任
   若农民未尽合理审查义务（如未核对业务员身份、合同真实性），或公司无管理过错（如已及时收回授权材料、公示代理权终止），则合同不约束公司，公司无需交付化肥或退款。

2. 公司可能的管理过错责任
   根据《民法典》第1191条，用人单位的工作人员因执行工作任务造成他人损害的，由用人单位承担侵权责任。若业务员私自收款行为与公司管理漏洞有关（如未建立收款监督机制），公司可能需对农民的损失承担部分赔偿责任，但需以公司过错与损失之间的因果关系为前提。

3. 示例
   若公司未对业务员进行培训，导致业务员冒用公司名义诈骗，且农民已尽审查义务，公司可能因管理疏漏承担部分赔偿责任。

三、农民的救济途径

1. 向业务员追偿
   无论公司是否担责，农民均可直接要求业务员返还货款及赔偿损失（如利息、维权成本）。若业务员涉嫌诈骗，农民可向公安机关报案。

2. 向公司主张权利的条件

   • 证明业务员行为构成表见代理（如提供授权书、合同、聊天记录等）。
     
   • 证明公司存在管理过错（如公司未公示代理权终止信息、未收回授权材料）。

四、法律建议

1. 对农民

   • 签订合同前，核对业务员身份（如要求出示工作证、授权书）、合同真实性（如加盖公章、公司备案编号）。
     
   • 付款时要求公司对公账户收款，避免向个人账户转账。
     
   • 保留合同、付款凭证、沟通记录等证据，以便维权。

2. 对公司

   • 建立严格的代理权管理制度（如授权书登记、回收、公示）。
     
   • 规范收款流程（如要求对公账户收款、禁止业务员私自收款）。
     
   • 定期对业务员进行培训，明确代理权限及法律责任。

如有进一步疑问，可直接向我咨询，我会结合具体案情为您详细分析。