关于男方给20万彩礼且小孩不归男方抚养的法律判决问题，这并非一个简单的“是”或“否”的答案，而是需要综合考虑多个法律因素和具体情况。以下是我从不同角度为你进行的分析：
彩礼的返还问题：
- 法律依据：根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。
- 分析：若你们已经办理了结婚登记手续且共同生活过，那么彩礼一般不予返还。但如果存在上述法律规定的特殊情形，如未办理结婚登记、未共同生活或婚前给付导致男方生活困难，且你们离婚，那么男方有权请求返还彩礼。返还的数额会根据具体情况，如共同生活时间、是否生育子女、彩礼使用情况等，由法院进行裁量。
小孩的抚养权问题：
- 法律依据：根据《中华人民共和国民法典》第一千零八十四条，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。
- 分析：小孩的抚养权并非由一方单方面决定，而是需要根据小孩的年龄、双方的经济状况、教育背景、生活环境以及小孩的意愿（如果小孩已满八周岁）等多方面因素综合考虑。如果小孩不归男方抚养，这并不意味着男方不需要承担抚养责任，他仍然需要支付抚养费，并享有探视权。
综合考量：
- 在处理这类案件时，法院会综合考虑彩礼的返还和小孩的抚养权问题，以及双方的其他财产分割、债务承担等事项，以达成一个公平、合理的判决。
- 如果双方能够协商一致，达成离婚协议，那么可以避免很多不必要的法律纠纷和诉讼成本。如果协商不成，则需要通过诉讼来解决。
建议：
- 如果你和男方在彩礼返还和小孩抚养权问题上存在争议，建议先尝试通过协商或调解的方式解决。
- 如果协商或调解不成，你可以寻求专业的法律帮助，向法院提起诉讼，由法院根据具体情况进行判决。
- 在处理这类问题时，请务必保持冷静和理性，不要因为情绪而做出冲动的决定。
最后，每个案件都有其独特性和复杂性，因此以上分析仅供参考。如果你有更具体的法律问题或需要进一步的法律帮助，请直接向我咨询。