结论：离婚后，您拒绝男方接走孩子，但这并不影响您向男方主张抚养费的权利。若男方因此不付抚养费，您可以起诉他。以下从多个角度为您详细分析：

一、抚养费的支付义务与探视权的关系

抚养费是父母对未成年子女应尽的法定义务，其支付并不以父母一方是否享有探视权为前提。也就是说，即使您拒绝男方接走孩子，男方仍然有义务支付抚养费。探视权是男方作为父亲的一项权利，但这项权利的行使并不应成为其拒绝支付抚养费的借口。

二、起诉男方不支付抚养费的法律依据

根据《民法典》及相关司法解释的规定，父母对未成年子女负有抚养、教育和保护的义务。当一方不履行抚养义务时，另一方有权要求其支付抚养费。具体来说：

• 《民法典》第一百九十六条：明确规定了请求支付抚养费不适用诉讼时效的规定。这意味着，无论子女年龄大小，只要父母一方未履行抚养义务，另一方都有权随时要求其支付抚养费。
• 《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》第五十三条：抚养费的给付期限，一般至子女十八周岁为止。这一条款进一步明确了抚养费的支付期限，但并未将支付条件与探视权挂钩。

三、起诉流程与注意事项

1. 收集证据：在起诉前，您需要收集相关证据，如离婚协议书、法院判决书（如有）、男方未支付抚养费的记录等，以证明男方未履行抚养义务。
2. 确定原告：抚养费诉讼的原告应为子女。在子女18周岁之前，由抚养权人（即您）作为子女的法定代理人代为起诉；子女18周岁之后，则由子女直接起诉。
3. 提交起诉状：向法院提交起诉状，明确诉讼请求、事实和理由，并附上相关证据材料。
4. 参与诉讼：在法院受理案件后，您需要积极参与诉讼过程，包括出庭、举证、质证等。

四、可能的法律后果

若法院认定男方确实未履行抚养义务，将判决男方支付拖欠的抚养费，并可能要求其承担一定的违约责任（如支付滞纳金等）。同时，法院也可能对男方的探视权进行一定的调整或限制，以保障子女的合法权益。

五、建议与提醒

• 保持冷静与理性：在处理此类纠纷时，请保持冷静与理性，避免情绪化行为对子女造成不必要的伤害。
• 寻求专业帮助：如果您在起诉过程中遇到任何困难或疑问，建议及时咨询专业律师，以获取更具体的法律建议和指导。

最后，抚养子女是父母双方的共同责任和义务。无论您与男方之间存在何种矛盾或分歧，都不应成为拒绝支付抚养费的理由。若男方因此不付抚养费，您完全有权通过法律途径来维护自己和子女的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。