您没有义务因为男方父母不帮带小孩就不养他们，成年子女对父母负有法定的赡养义务，这一义务不因父母是否帮忙带小孩而免除。以下从不同角度为您详细分析：
法律角度
根据《中华人民共和国民法典》的相关规定，成年子女对父母负有赡养、扶助和保护的义务。这是法定的强制性义务，不因任何外部因素，如父母是否帮忙带小孩、父母的经济状况、子女与父母之间的关系亲疏等而免除。如果成年子女不履行赡养义务，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。
道德角度
从道德层面来看，赡养父母是中华民族的传统美德，也是社会公序良俗的重要组成部分。父母在子女成长过程中付出了大量的心血和精力，当父母年老体弱、需要照顾时，子女应当尽到孝道，给予父母必要的关怀和照顾。即使父母没有帮忙带小孩，这也不能成为子女不赡养父母的理由。
实际情况角度
在实际生活中，每个家庭的情况都是复杂的。男方父母不帮忙带小孩可能有各种原因，如身体原因、个人意愿等。作为子女，应当理解并尊重父母的选择。如果因为父母不帮忙带小孩就拒绝赡养他们，不仅可能引发家庭矛盾，还可能损害自己的声誉和形象。
可能的法律后果
如果成年子女不履行赡养义务，父母可以通过法律途径来维护自己的权益。他们可以向法院提起诉讼，要求子女给付赡养费。法院在审理此类案件时，会综合考虑父母的实际需要、子女的经济状况以及当地的生活水平等因素，来判决子女应当给付的赡养费数额。如果子女拒不执行法院的判决，还可能面临强制执行等法律后果。
建议：
如果您在婚姻家庭方面还有其他问题或需要进一步的法律帮助，请随时向我咨询。