结论是：您能否合法收回土地，需视具体情况而定，但未经合法程序单方面收回可能面临法律风险。 接下来，我将从几个方面为您详细分析：
一、合同关系与法律效力
未签订书面合同的影响：
- 根据《民法典》的相关规定，虽然口头合同在特定情况下也具有法律效力，但在土地转包这类涉及重大权益的事项上，书面合同更为稳妥，它能明确双方的权利义务，避免后续纠纷。
- 您与对方未签订书面合同，这可能导致在证明转包关系、约定内容（如转包期限、转包费用等）时存在困难。
合同关系的认定：
- 即便没有书面合同，如果双方实际履行了转包行为（如您已将土地交付对方使用，对方也实际使用了土地），且没有其他相反证据，法院仍可能认定存在事实上的转包关系。
- 但缺乏书面合同，您在主张对方违约（如不给钱）时，可能需要提供其他证据来证明转包关系的存在及对方的违约行为。
二、对方不给钱的法律性质与后果
违约行为的认定：
- 如果双方存在转包关系，且对方未按约定支付转包费用，这构成违约行为。
- 您有权要求对方履行支付义务，并可能要求其承担违约责任（如支付违约金、赔偿损失等）。
单方面收回土地的合法性：
- 在对方违约的情况下，您不能直接单方面收回土地。因为土地转包关系一旦成立，对方就享有了土地的使用权（在转包期限内）。
- 您应首先通过合法途径（如协商、调解、诉讼等）要求对方履行支付义务或解除转包关系。只有在转包关系被依法解除后，您才能收回土地。
三、建议与措施
收集证据：
- 尽快收集能证明转包关系存在及对方违约行为的证据，如证人证言、交易记录、通讯记录等。
协商与调解：
- 尝试与对方进行协商，看是否能达成和解协议，要求对方支付转包费用或解除转包关系。
- 如果协商无果，可以考虑寻求第三方调解机构的帮助。
诉讼途径：
- 如果协商和调解均无法解决问题，您可以向法院提起诉讼，要求对方履行支付义务或解除转包关系，并可能要求其承担违约责任。
- 在诉讼过程中，您需要提供充分的证据来支持您的主张。
避免单方面行动：
- 在未通过合法途径解除转包关系前，避免单方面收回土地，以免构成侵权行为，面临法律责任。
最后，我建议您在处理此类纠纷时保持冷静和理性，通过合法途径来维护自己的权益。如果您需要进一步的法律帮助或咨询，请随时向我提问。