核心结论：能否要回钱以及如何要回，需根据合同签订情况、工程进度、款项支付阶段等不同情形来确定，以下分情况说明。

1. 若签订了书面合同，且合同中有明确约定解除合同及退款条款

在这种情况下，你可以依据合同约定来主张权利。首先，仔细研读合同中关于合同解除条件、退款方式、退款时间等条款。如果符合合同约定的解除条件，你可以书面通知包工头解除合同，并要求按照合同约定退还相应款项。

例如，合同中约定如果因你方原因在工程开工后一定期限内要求停止施工并解除合同，包工头应退还已收取款项的80%。那么，你就可以按照这个比例要求包工头退款。如果包工头拒绝退款，你可以收集好合同、付款凭证、解除合同通知等证据，向法院提起诉讼，要求包工头按照合同约定履行退款义务。

2. 若签订了书面合同，但合同中没有明确约定解除合同及退款条款

此时，你需要与包工头进行协商。在协商过程中，要明确说明你不想继续盖房的原因，并且提出合理的退款要求。退款金额的确定可以参考工程的实际进度、包工头已经投入的成本等因素。

比如，工程刚刚开始，包工头可能只进行了一些前期的准备工作，如搭建临时设施、购买部分材料等，那么你可以要求退还大部分已支付的款项，但要适当补偿包工头已经产生的合理费用。如果协商成功，双方可以签订一份解除合同的协议，明确退款金额、退款时间等事项。如果协商不成，你可以考虑通过法律途径解决。你可以向法院起诉，要求解除合同并要求包工头返还多余的款项，法院会根据实际情况，如工程的实际进展、双方的过错程度等因素来判决退款金额。

3. 若没有签订书面合同，只有口头约定

这种情况相对复杂，但也不是没有解决的办法。你需要尽可能收集能够证明你们之间存在建设工程施工合同关系以及你已支付款项的证据。比如，转账记录、聊天记录、证人证言等。

然后，同样先尝试与包工头协商退款事宜。在协商时，要强调虽然没有书面合同，但双方存在事实上的合同关系，你有权要求退款。如果协商不成，你可以凭借收集到的证据向法院起诉。法院会根据你提供的证据以及实际情况来判断你们之间的权利义务关系，并作出相应的判决。不过，由于缺乏书面合同，在证据的认定和退款金额的确定上可能会存在一定的难度，所以你要尽可能收集全面、充分的证据。