结论：在父亲口头协议将土地租给别人建厂，你打电话要回土地后，下一步关键在于收集证据、明确法律关系，并根据实际情况选择合适的解决途径，如协商、诉讼或向相关部门反映。以下是具体分析：

1. 收集证据：

   • 口头协议的证明：尽管口头协议在法律上也是有效的，但证明其存在和内容往往较为困难。因此，你需要尽可能收集能够证明口头协议存在的证据，如通话记录、短信、微信聊天记录、证人证言等。这些证据应能够反映出租土地的事实、租赁期限、租金等关键条款。
   • 土地权属证明：提供土地使用权证或其他相关权属证明，以证明你对土地拥有合法的使用权或管理权。
   • 对方建厂行为的证据：收集对方在土地上建厂的相关证据，如照片、视频、施工合同等，以证明对方确实在使用土地进行建厂活动。

2. 明确法律关系：

   • 租赁合同关系：根据《民法典》的相关规定，租赁合同是出租人将租赁物交付承租人使用、收益，承租人支付租金的合同。口头协议同样构成租赁合同关系，但需注意证明其存在和内容。
   • 土地用途变更：如果土地原本用途并非工业用地，而对方未经批准擅自改变土地用途建厂，可能涉及违法用地问题。此时，你可以向当地国土资源部门反映情况，要求对方停止违法行为并恢复土地原状。

3. 选择解决途径：

   • 协商：首先尝试与对方进行协商，明确表达你的意愿和要求，如解除口头协议、要求对方停止建厂并恢复土地原状、赔偿损失等。协商过程中，注意保留书面记录或录音等证据。
   • 诉讼：如果协商无果，你可以向法院提起诉讼，要求确认口头协议无效或解除口头协议，并要求对方承担相应的法律责任。在诉讼过程中，你需要提供充分的证据来支持你的主张。
   • 向相关部门反映：如果对方的行为涉及违法用地或违反其他行政法规，你可以向当地国土资源部门、城乡规划部门等相关部门反映情况，要求相关部门依法处理。

4. 注意事项：

   • 及时行动：一旦发现对方有违约或违法行为，应及时采取行动，避免损失扩大。
   • 保留证据：在整个过程中，注意保留所有相关证据，以备不时之需。
   • 法律咨询：在采取任何行动之前，建议咨询专业律师（即我本人）的意见，以确保你的行动合法有效。