结论：是否可以直接找实际施工人要钱，需根据具体情况判断，主要看实际施工人的付款行为是否构成债务加入或表见代理，以及合同相对性原则的适用情况。以下从不同角度进行分析：
一、合同相对性原则的角度
在一般的合同纠纷中，合同具有相对性，即合同的权利义务主要约束合同双方当事人。您与承包人签订了买卖合同，根据合同相对性原则，您原则上应向承包人主张合同权利，包括要求支付货款。如果实际施工人只是代承包人付款，而没有成为合同的一方，那么您通常不能直接要求实际施工人承担付款责任。
二、债务加入的角度
如果实际施工人的付款行为构成债务加入，即实际施工人明确表示愿意加入到您与承包人之间的债权债务关系中，与承包人共同承担付款责任，那么您可以要求实际施工人和承包人共同承担付款责任。债务加入需要实际施工人有明确的加入意思表示，并且这种意思表示需要得到您的认可。
三、表见代理的角度
如果实际施工人的付款行为构成表见代理，即实际施工人虽然没有代理权，但以其行为使您有理由相信其有代理权，并且您基于此相信而与其进行了交易，那么承包人可能需要承担代理行为的后果。然而，在表见代理的认定上，法院会严格审查实际施工人的行为是否足以使您产生合理信赖，以及您是否尽到了合理的审查义务。如果实际施工人的付款行为并不足以构成表见代理，那么您可能无法直接要求承包人承担实际施工人的付款责任，更无法直接要求实际施工人承担原本应由承包人承担的付款责任（此处在探讨表见代理不成立时，从反向逻辑说明直接找实际施工人要钱的困难，实际表见代理若成立，责任仍先归承包人，但可能间接影响实际施工人与承包人内部关系）。不过，有一种特殊情况可参考：若实际施工人长期以承包人名义付款，且您有合理理由相信其能代表承包人，同时实际施工人也愿意承担付款责任，在内部关系上承包人可能事后会向实际施工人追偿，但从您对外主张权利角度，若能认定表见代理相关情形，可先向承包人主张，而实际施工人若自愿加入债务清偿，您也可将其列为共同被告要求付款。
四、实际施工人自愿承担债务的角度
如果实际施工人自愿承担承包人在买卖合同中的付款义务，并且这种承担得到了您的同意，那么您可以要求实际施工人承担付款责任。这种自愿承担债务的行为可以视为实际施工人与您之间形成了一个新的债权债务关系。
建议：
收集证据：首先，您需要收集所有与交易相关的证据，包括买卖合同、付款记录、通信记录等，以证明实际施工人的付款行为以及您与承包人之间的合同关系。
分析法律关系：其次，您需要分析实际施工人的付款行为是否构成债务加入、表见代理或自愿承担债务等法律关系，以确定您是否有权直接要求实际施工人承担付款责任。
咨询专业律师：由于合同纠纷和建设工程合同纠纷往往涉及复杂的法律关系和证据认定，建议您在采取任何行动之前咨询专业律师，以便更好地维护自己的合法权益。
考虑诉讼策略：如果您决定通过法律途径解决纠纷，您需要与律师一起制定合适的诉讼策略，包括确定被告、选择管辖法院、准备证据材料等。
如果您有任何进一步的疑问或需要更具体的法律建议，请随时向我咨询。