单位违法使用农用地的，处罚对象主要是单位本身，同时可能涉及直接负责的主管人员和其他直接责任人员。具体来说，处罚措施和责任主体根据违法行为的性质和严重程度有所不同，以下从不同角度进行分析：
一、单位作为处罚对象
行政处罚：
- 根据《中华人民共和国土地管理法》第七十六条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地。对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状；对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，并可以并处罚款。
- 若单位非法占用永久基本农田发展林果业或者挖塘养鱼，根据《土地管理法实施条例》第五十一条，由县级以上人民政府自然资源主管部门责令限期改正；逾期不改正的，按占用面积处耕地开垦费2倍以上5倍以下的罚款。
刑事责任：
- 如果单位的违法行为构成犯罪，如非法占用农用地罪，根据《中华人民共和国刑法》第三百四十二条，单位将被判处罚金，同时对其直接负责的主管人员和其他直接责任人员，处五年以下有期徒刑或者拘役，并处或者单处罚金。
二、直接负责的主管人员和其他直接责任人员作为处罚对象
行政处分：
- 根据《中华人民共和国土地管理法》第七十六条，对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予行政处分。
刑事责任：
- 如前所述，如果单位的违法行为构成犯罪，直接负责的主管人员和其他直接责任人员也将承担刑事责任。
三、特殊情形下的处罚
- 无权批准或超越权限批准：
- 根据《中华人民共和国土地管理法》第七十八条，无权批准征收、使用土地的单位或者个人非法批准占用土地的，超越批准权限非法批准占用土地的，不按照土地利用总体规划确定的用途批准用地的，或者违反法律规定的程序批准占用、征收土地的，其批准文件无效。非法批准、使用的土地应当收回，有关当事人拒不归还的，以非法占用土地论处。这种情况下，不仅单位会受到处罚，非法批准的个人也可能承担法律责任。
四、法律建议
- 合规使用土地：单位应严格遵守土地管理法律法规，确保土地使用合法合规。
- 及时整改：一旦发现违法使用土地的行为，应立即停止并整改，以减少法律风险和损失。
- 寻求法律帮助：如果单位面临土地违法问题的处罚或诉讼，应及时寻求专业律师的法律帮助，以维护自身合法权益。
如有任何法律问题或需要进一步的法律建议，请直接向我咨询。