非法渔具主要由农业农村部门（渔业渔政管理部门）进行管理。以下是对此问题的详细分析：
一、农业农村部门（渔业渔政管理部门）的职责
农业农村部门是渔业生产、资源保护等全方位管理工作的主管部门。对于非法渔具，如使用禁用的渔具、捕捞方法或小于最小网目尺寸的网具进行捕捞等行为，农业农村部门有权进行调查、处罚。这些处罚措施可能包括罚款、没收渔获物和违法所得、暂扣或吊销捕捞许可证等，依据的是《中华人民共和国渔业法》的相关规定。
二、其他可能涉及的部门
虽然农业农村部门是非法渔具管理的主要部门，但在某些特定情况下，其他部门也可能参与管理：
公安机关：当非法渔具的使用行为涉嫌犯罪时，如达到一定的非法捕捞数量、在禁渔区或禁渔期使用严重破坏渔业资源的方法进行捕捞等，触犯《中华人民共和国刑法》中关于非法捕捞水产品罪的规定，公安机关将负责立案侦查，并依法追究犯罪嫌疑人的刑事责任。
生态环境部门：如果非法渔具的使用行为同时导致水域生态环境严重污染和破坏，如使用电鱼、毒鱼、炸鱼等极端方式捕鱼，生态环境部门将依据环境保护相关法律法规对涉事方进行查处。
海事部门：对于出海捕鱼涉及的海事问题，如渔船在海上使用非法渔具进行捕捞，海事部门也有权进行管理。
三、法律责任分析
行政责任：对于一般违法行为，如未构成犯罪的非法渔具使用行为，由县级以上人民政府渔业行政主管部门（即渔政管理部门）进行行政处罚。
刑事责任：对于涉嫌犯罪的非法渔具使用行为，如非法捕捞水产品罪，将由公安机关立案侦查，并依法追究刑事责任。
四、建议与行动
如果您发现了非法渔具的使用行为，建议您首先明确行为性质及后果，然后向农业农村部门（渔业渔政管理部门）进行咨询或举报。如果行为涉嫌犯罪或导致生态环境严重破坏，您也可以同时向公安机关或生态环境部门进行举报。在处理此类问题时，如有需要，您可以随时向我咨询，我将根据您的具体情况提供法律建议和帮助。
总结：非法渔具的管理主要涉及农业农村部门（渔业渔政管理部门），但在特定情况下，公安机关、生态环境部门和海事部门也可能参与管理。在处理此类问题时，请根据实际情况向相关部门进行咨询或举报。