结论：您虽然未签署合同，但作为实际付款方，在特定条件下是有可能往回要钱的。不过，能否成功要回款项，取决于多种因素，包括合同的具体内容、付款的性质、双方之间的约定以及实际履行情况等。以下是从不同角度为您进行的分析：

一、合同相对性原则与实际履行情况

1. 合同相对性：一般来说，合同具有相对性，即合同的权利义务主要约束合同双方。如果合同不是您签的，从形式上看，您可能不是合同的直接当事人。

2. 实际履行情况：然而，在实际操作中，如果合同的实际履行与您密切相关，比如您是实际出资人、实际施工人或者与合同履行有直接利益关系，那么您可能被视为合同的实质当事人或者有权依据实际履行情况主张权利。

二、付款的性质与目的

1. 投资性质：如果您付款是作为对工程的投资，那么您可能享有相应的投资权益，包括在工程盈利时分享利润，或者在工程亏损时承担相应风险。在这种情况下，要回款项可能涉及复杂的投资回报和风险分担问题。

2. 借款或垫资性质：如果您付款是作为借款或垫资给合伙方用于工程，那么您与合伙方之间就形成了借贷关系。在这种情况下，您有权要求合伙方按照约定归还借款或垫资，并可能要求支付相应的利息。

3. 其他性质：如果付款性质不明确，或者双方对此存在争议，那么可能需要通过法律程序来确定付款的性质和目的，进而判断您是否有权要回款项。

三、双方之间的约定与证据

1. 书面约定：如果双方之间有书面约定，比如合伙协议、借款协议等，那么这些约定将是判断您是否有权要回款项的重要依据。

2. 口头约定与实际行为：即使没有书面约定，如果双方之间有口头约定，并且实际行为也符合该约定，那么口头约定也可能被法院采纳作为判断依据。

3. 证据收集：为了证明您的主张，您需要收集相关证据，比如付款凭证、合伙协议、沟通记录等。这些证据将有助于法院了解案件事实，并作出公正判决。

四、法律途径与建议

1. 协商解决：首先，我建议您与合伙方进行协商，尝试通过友好方式解决争议。这可以节省时间和成本，并维护双方之间的关系。

2. 法律途径：如果协商无果，您可以考虑通过法律途径解决争议。这包括向法院提起诉讼或申请仲裁等。在选择法律途径时，您需要仔细考虑诉讼或仲裁的成本、时间以及可能的结果等因素。

3. 专业咨询：由于合同纠纷可能涉及复杂的法律问题和事实认定，我建议您在采取任何行动之前咨询专业律师的意见。律师可以根据您的具体情况提供针对性的法律建议，并帮助您制定合适的策略来维护自己的权益。

最后，我理解您现在可能对此事感到焦虑和困惑。但请放心，作为专业律师，我会尽我所能为您提供帮助和支持。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。