工地监理不负责，甲方一般不能直接退回监理。下面我将从法律角度详细解释这一结论，并给出相应的建议。
法律解释
合同义务与违约责任：
- 工地监理与甲方之间通常签订有监理合同，明确双方的权利和义务。
- 如果监理方未按照合同约定履行监理职责，构成违约，甲方有权要求监理方承担违约责任，但并不能直接退回监理。
解决途径：
- 甲方可以先与监理方进行协商，要求监理方改正不负责任的行为，并赔偿因此造成的损失。
- 如果协商无果，甲方可以依据监理合同中的争议解决条款，通过法律途径解决纠纷，如申请仲裁或提起诉讼。
法律后果：
- 如果监理方被认定违约，可能需要承担赔偿损失、支付违约金等法律责任。
- 甲方在主张权利时，也需要确保自身行为符合合同约定和法律规定，避免自身也构成违约。
建议
查看合同条款：
- 甲方应仔细查看监理合同中的条款，特别是关于监理职责、违约责任和争议解决的部分。
- 明确监理方的具体职责和违约时的法律责任，以便在后续协商或法律程序中有所依据。
保留证据：
- 甲方应收集并保留监理方不负责任的证据，如监理记录、现场照片、视频等。
- 这些证据在后续协商或法律程序中将起到关键作用。
及时沟通：
- 甲方在发现问题后，应及时与监理方进行沟通，明确表达自身的不满和要求。
- 通过沟通，有时可以解决问题，避免不必要的法律纠纷。
寻求法律帮助：
- 如果协商无果，甲方可以寻求专业律师的帮助，通过法律途径维护自身权益。
- 律师将根据具体情况，为甲方提供法律建议和支持。
综上所述，工地监理不负责时，甲方不能直接退回监理，而应通过法律途径解决纠纷。在处理过程中，甲方应仔细查看合同条款、保留证据、及时沟通，并在必要时寻求法律帮助。