结论：放贷人是否可以直接问你要钱，取决于你与放贷人、担保人之间的具体法律关系及合同约定。以下从不同角度进行分析：
若你与放贷人之间存在直接的借贷关系：
- 法律关系：即便资金最初是通过担保人转交给你，但如果你与放贷人之间已经形成了明确的借贷合意，并签订了借款合同或存在其他形式的借贷约定，那么放贷人作为债权人，有权直接向你主张债权。
- 建议：在这种情况下，你应确认与放贷人之间的借贷关系是否成立，并查看借款合同或相关约定中关于还款方式、还款期限等条款，以确定你的还款义务。
若你与放贷人之间不存在直接的借贷关系，而是与担保人存在借贷或其他法律关系：
- 法律关系：如果资金流转只是担保人履行其与你之间借贷或其他法律关系的一部分，且放贷人并未直接参与或同意成为你债务的债权人，那么放贷人通常无权直接向你主张债权。此时，放贷人只能向担保人主张其作为出借人的权利。
- 例外情况：如果担保人在将资金转交给你时，明确表示或以行为表明其是代表放贷人出借资金，且你对此表示接受或认可，那么可能构成表见代理或类似法律关系，放贷人可能因此获得直接向你主张债权的权利。但这种情况需要具体证据支持。
- 建议：在这种情况下，你应仔细审查与担保人之间的交易记录、沟通记录等证据，以确定你与担保人之间的法律关系性质。同时，你也可以考虑咨询专业律师，以更准确地评估你的法律风险和义务。
关于担保人的角色和责任：
- 担保责任：如果担保人为你与放贷人之间的借贷关系提供了担保，那么担保人可能需要在你无法履行还款义务时，承担相应的担保责任。但这并不改变你与放贷人之间的直接债权债务关系（如果存在的话）。
- 资金流转：担保人作为资金流转的中间环节，其法律地位取决于其与你和放贷人之间的具体约定。如果担保人只是代为转交资金，并未承担其他法律责任，那么其通常不直接涉及你与放贷人之间的债权债务纠纷。
进一步思考：
- 在处理此类复杂法律关系时，重要的是要明确各方的法律地位和权利义务。这通常需要通过审查相关合同、交易记录、沟通记录等证据来实现。
- 如果你对自身的法律地位和义务存在疑问，或者担心可能面临的法律风险，建议及时咨询专业律师。我可以根据你的具体情况，提供更详细、更具体的法律建议和指导。
最后，如果你有任何关于债务债权、抵押担保等方面的法律问题，都可以直接向我咨询。我会尽我所能为你提供专业、全面的法律帮助。