工地监理不负责一般不能退回，但可以通过其他方式追究其责任。下面我详细为你解释一下：
首先，我们要明确工地监理的职责和作用。工地监理是负责监督和管理工程施工过程的专业人员，他们的工作是确保工程按照合同规定和设计要求进行，保证工程质量和安全。如果监理人员不负责任，可能会导致工程质量问题、安全隐患，甚至引发经济纠纷。
然而，监理不负责并不能直接作为退回的理由。因为监理服务是一种专业服务，一旦服务开始，就很难像实物商品那样进行退回。但你可以通过以下方式来追究监理的责任：
合同违约责任：如果监理人员的不负责任行为构成了合同违约，你可以根据合同条款要求其承担违约责任。这包括但不限于赔偿损失、支付违约金等。
行政责任：如果监理人员的行为违反了相关法律法规或行业标准，你还可以向相关行政部门举报，要求其承担行政责任。例如，可能会被吊销监理资质、罚款等。
刑事责任：在极端情况下，如果监理人员的不负责任行为导致了严重后果，如重大安全事故，那么他们可能会面临刑事责任的追究。
因此，如果你发现工地监理不负责，你应该及时采取措施来维护自己的权益。这包括与监理人员沟通、向相关部门举报、寻求法律援助等。我会根据你的具体情况，为你提供专业的法律建议和支持。