首先，公司客户的款直接转给代理人后，要回这笔钱可能涉及复杂的法律关系和具体的合同约定。以下是根据不同情况给出的建议：

1. 检查合同条款：

   • 如果公司和代理人之间有明确的书面合同，并且合同中规定了款项的支付方式、时间以及退款条件，那么应首先依据合同条款来执行。
   • 若合同中未明确约定或约定不明确，则需要进一步分析法律关系。

2. 分析法律关系：

   • 如果代理人是代表公司收取款项，并且这些款项本应属于公司，那么代理人有义务将款项转交给公司。
   • 如果代理人无权收取这些款项，或者收取后未按照约定转交给公司，那么可能构成不当得利或违约。

3. 采取法律措施：

   • 在确定法律关系后，公司可以与代理人进行协商，要求退还款项。
   • 如果协商无果，公司可以依据合同条款或法律规定，向法院提起诉讼，要求代理人退还款项并承担相应的法律责任。

4. 考虑其他因素：

   • 还需要考虑款项的性质、金额大小、转账时间等因素，这些因素可能影响法律关系的认定和诉讼的结果。
   • 同时，公司也应反思内部管理制度，避免类似情况再次发生。

综上所述，要回公司客户的款直接转给代理人的钱，需要首先明确合同条款和法律关系，然后采取相应的法律措施。如果你在这个过程中遇到任何法律问题或需要进一步的帮助，请直接向我咨询。