结论：在没有签订书面鱼塘承包合同且已支付承包金的情况下，能否退钱取决于多种因素，包括双方协商、实际履行情况、是否存在过错等。以下从不同角度进行分析：
一、合同形式与法律效力
口头合同的有效性：
- 根据《中华人民共和国民法典》的相关规定，当事人订立合同，可以采用书面形式、口头形式或者其他形式。因此，即使没有签订书面合同，口头达成的鱼塘承包协议也是具有法律效力的。
书面合同的重要性：
- 尽管口头合同有效，但书面合同能够更清晰地明确双方的权利和义务，减少纠纷的发生。在没有书面合同的情况下，一旦发生争议，双方可能难以证明各自的主张。
二、退款的可能性与条件
双方协商：
- 最直接且有效的方式是双方进行协商。如果承包方（即您）不想继续承包，可以与发包方沟通，看是否能够达成退款协议。协商时，可以提出合理的退款理由，如个人原因、经营困难等。
实际履行情况：
- 如果承包方已经实际使用了鱼塘一段时间，或者发包方已经为承包方提供了某些服务或设施，那么退款时可能需要考虑这些因素。例如，如果承包方已经使用了鱼塘进行养殖，且发包方已经投入了相应的资源，那么退款时可能需要扣除这部分费用。
是否存在过错：
- 如果承包方不想继续承包是因为发包方存在过错（如鱼塘存在质量问题、发包方未履行约定的义务等），那么承包方有权要求退款，并可能要求发包方承担违约责任。
- 反之，如果承包方无正当理由不想继续承包，那么发包方可能有权拒绝退款，或者要求承包方承担一定的违约责任。
三、法律建议与行动步骤
收集证据：
- 在与发包方协商或采取法律行动之前，承包方应尽可能收集与承包事宜相关的证据，如支付承包金的凭证、双方沟通的记录、鱼塘的实际状况等。这些证据将有助于证明承包方的主张。
尝试协商：
- 首先尝试与发包方进行友好协商，看是否能够达成退款协议。协商时，保持冷静和理性，明确表达自己的诉求和理由。
寻求法律援助：
- 如果协商无果，承包方可以考虑寻求法律援助。可以咨询专业律师（如我），了解具体的法律程序和可能的法律后果。律师将能够根据具体情况提供针对性的法律建议。
考虑诉讼或仲裁：
- 如果必要，承包方可以考虑通过诉讼或仲裁的方式解决争议。在选择诉讼或仲裁之前，应充分了解其成本、时间和风险等因素。
进一步思考：在处理此类纠纷时，除了考虑法律因素外，还应考虑双方的关系和未来的合作可能性。如果可能的话，尽量通过友好协商的方式解决争议，以维护双方的利益和关系。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。