结论：农村鱼塘承包合同仅由村代表几个人签字，使用三年后村民要推翻合同，合同是否无效不能一概而论，需根据具体情况判断。以下从不同角度进行分析：
一、合同生效的基本条件
根据《中华人民共和国民法典》的相关规定，合同生效一般需要满足以下条件：
- 行为人具有相应的民事行为能力：签订合同的村代表应具备相应的民事行为能力，能够代表村民集体进行民事活动。
- 意思表示真实：合同双方的意思表示应真实、自愿，不存在欺诈、胁迫等情形。
- 不违反法律、行政法规的强制性规定，不违背公序良俗：合同内容应合法合规，不违反国家法律法规的强制性规定，也不违背社会公德和公共秩序。
二、村代表签字合同的效力
村代表有权代表村民集体签订合同：
- 如果村代表是经过村民会议或村民代表会议授权，有权代表村民集体签订鱼塘承包合同，那么该合同在符合上述生效条件的情况下，是有效的。
- 村民在使用三年后要推翻合同，需要提供充分的证据证明合同存在无效或可撤销的情形，如村代表未经授权、合同内容违法等。
村代表无权代表村民集体签订合同：
- 如果村代表未经村民会议或村民代表会议授权，擅自代表村民集体签订鱼塘承包合同，那么该合同可能因缺乏合法授权而无效。
- 在此情况下，村民有权要求确认合同无效，并可能要求村代表承担相应的法律责任。
三、村民推翻合同的可能情形及后果
合同存在无效情形：
- 如合同内容违反法律法规的强制性规定、损害社会公共利益等，村民可以要求确认合同无效。
- 合同无效后，因该合同取得的财产应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方因此所受到的损失，双方都有过错的，应当各自承担相应的责任。
合同存在可撤销情形：
- 如合同存在欺诈、胁迫、重大误解等情形，村民可以在法定期限内请求人民法院或仲裁机构撤销合同。
- 合同被撤销后，其法律后果与合同无效相同。
村民仅以村代表签字为由要求推翻合同：
- 如果村民仅以村代表未经授权签字为由要求推翻合同，但无法提供其他证据证明合同存在无效或可撤销的情形，那么其请求可能不会被支持。
- 在此情况下，合同可能仍然有效，村民需要继续履行合同义务。
四、建议
- 收集证据：村民在要求推翻合同前，应收集充分的证据证明合同存在无效或可撤销的情形。
- 咨询专业律师：由于合同纠纷涉及复杂的法律问题，建议村民在采取行动前咨询专业律师，以获取更准确的法律意见。
- 通过合法途径解决纠纷：村民应通过合法途径解决合同纠纷，如协商、调解、仲裁或诉讼等，避免采取过激行为导致法律后果加重。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。