可以起诉男方。离异后，如果男方扣着孩子不给，剥夺了另一方对孩子的抚养权或探视权，另一方完全有权利通过法律途径来维护自己的合法权益。
法律分析
抚养权与探视权：
- 离婚后，父母双方对孩子都有抚养和教育的义务，同时也有探视的权利。
- 如果一方擅自剥夺另一方的抚养权或探视权，就构成了对另一方合法权益的侵犯。
法律依据：
- 根据《中华人民共和国民法典》的相关规定，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。
- 如若拒绝协助，侵犯了另一方的合法权益，可以通过诉讼的方式要求对方履行协助义务。
起诉的正当性：
- 男方扣着孩子不给，违反了法律规定，也违背了离婚协议或判决中关于抚养权和探视权的约定。
- 起诉是维护自身合法权益的正当手段，法院会根据实际情况作出公正裁决。
行动建议
收集证据：
- 首先，收集能够证明男方扣着孩子不给的证据，如聊天记录、通话录音、证人证言等。
- 这些证据将在诉讼过程中起到关键作用，有助于证明自己的主张。
咨询律师：
- 在起诉前，建议咨询专业律师，了解具体的法律程序和诉讼策略。
- 律师会根据你的实际情况，为你提供针对性的法律建议和指导。
提起诉讼：
- 在律师的协助下，向法院提起诉讼，要求男方履行抚养权和探视权的义务。
- 法院将依法审理此案，并作出公正裁决。
综上所述，如果男方扣着孩子不给，你完全有权利起诉他。在起诉前，请务必收集好证据，并咨询专业律师以获取更详细的法律建议和指导。