结论前置：在离婚协议约定孩子共同抚养，但男方不管的情况下，您是有可能通过起诉来变更抚养权的，但能否成功夺回抚养权，需结合具体案情和法律规定综合判断。
一、法律依据与抚养权变更条件
根据《中华人民共和国民法典》及相关司法解释，抚养权的变更通常基于以下条件：
- 原抚养方因患严重疾病或因伤残无力继续抚养子女：若男方因健康原因无法履行抚养义务，您可提出变更抚养权。
- 原抚养方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响：这是您当前情况的关键点。若男方未按照离婚协议履行抚养义务，如不支付抚养费、不关心子女生活等，您可收集相关证据，证明其未尽抚养义务，从而主张变更抚养权。
- 已满八周岁的子女，愿随另一方生活，该方又有抚养能力：若子女已满八周岁，且明确表示愿意随您生活，且您具备抚养能力，这也是变更抚养权的有力依据。
- 有其他正当理由需要变更：如男方存在严重不良行为（如赌博、吸毒等），或双方经济状况、生活环境发生重大变化，影响子女健康成长等。
二、实际操作与证据收集
收集证据：
- 男方未履行抚养义务的证据：如未支付抚养费的银行转账记录、聊天记录、证人证言等。
- 男方对子女不关心的证据：如未参加子女重要活动、未与子女保持联系等。
- 您具备抚养能力的证据：如稳定的工作收入、良好的居住环境、与子女的亲密关系等。
提起诉讼：
- 准备好相关证据后，您可以向法院提起变更抚养权之诉。
- 法院将根据双方证据和法律规定，综合判断是否变更抚养权。
三、可能面临的挑战与应对
男方反驳：
- 男方可能提出自己已履行抚养义务，或您不具备更好的抚养条件等反驳意见。
- 您需提前准备充分证据，以应对男方的反驳。
子女意愿：
- 若子女已满八周岁，法院会考虑其意愿。
- 您需与子女建立良好沟通，了解其真实想法，并在必要时提供心理支持。
法院调解：
- 在诉讼过程中，法院可能组织双方进行调解。
- 您可积极配合调解，争取达成对子女最有利的抚养安排。
四、建议与总结
建议：
- 在提起诉讼前，尽量与男方进行协商，看是否能达成一致的抚养安排。
- 若协商无果，再考虑通过法律途径解决。
- 在整个过程中，保持冷静和理性，以子女的利益为重。
总结：
- 离婚协议约定共同抚养，但男方不管的情况下，您有可能通过起诉来变更抚养权。
- 能否成功夺回抚养权，需结合具体案情和法律规定综合判断。
- 建议您提前收集充分证据，并咨询专业律师（即我本人，孙增律师，专注于婚姻家庭领域），以制定更有效的诉讼策略。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。