针对您提出的问题，首先明确结论：购房款直接打给经理并开具了收据且盖有财务章的情况下，若您决定不再购买房屋，这款项的退还责任主要取决于收款方以及双方之间的约定。以下是详细分析：

1. 收款方的责任：

   • 如果收款方是开发商或正规房产中介，并且收据上加盖的是公司财务章，那么这款项应由该开发商或中介公司负责退还。因为从法律上讲，他们作为收款方，有义务确保资金的安全，并在合同未成立或解除时退还相应款项。
   • 如果收款方是个人（如经理个人），且没有明确的证据表明这款项是用于公司或项目，那么退款责任可能更多地落在该个人身上。但这种情况下，追讨可能会更加复杂，因为需要证明该个人有义务退还这笔款项。

2. 双方约定的影响：

   • 如果在购房过程中，您与收款方（无论是公司还是个人）有明确的书面约定，如购房意向书、定金协议等，并且这些协议中规定了退款条款，那么退款应按照协议执行。
   • 如果没有明确的书面约定，或者约定中未涉及退款事宜，那么退款责任将更多地依赖于法律法规和收款方的诚信度。

3. 法律途径：

   • 若收款方拒绝退款，您可以通过法律途径维护自己的权益。首先，可以尝试与收款方进行协商，寻求和解。
   • 如果协商无果，您可以向当地住房城乡建设部门、消费者协会等投诉举报，或者直接向人民法院提起诉讼，要求收款方退还购房款。

综上所述，购房款的退还责任主要取决于收款方以及双方之间的约定。建议您先与收款方进行沟通协商，若协商无果，再考虑通过法律途径维护自己的权益。如有进一步的法律问题或需要更详细的帮助，请直接向我咨询。