结论前置：孩子爸爸没有尽到抚养义务，并不能直接取消其探视权，但可以通过法律途径对探视权进行限制或调整。
详细分析：
探视权的法律基础：
- 探视权，也称为探望权，是离婚后不直接抚养子女的父或母享有的与未成年子女探望、联系、会面、交往、短期共同生活的权利。这一权利是基于亲子关系而产生的，是法律赋予父母的一项基本权利。
抚养义务与探视权的关系：
- 抚养义务是父母对子女应尽的法定义务，包括提供生活费、教育费、医疗费等，以及给予子女关爱和照顾。而探视权则是父母在离婚后，与子女保持联系和交往的权利。
- 抚养义务的履行与探视权的行使是两个独立的法律关系。即使一方没有尽到抚养义务，也不能直接剥夺其探视权。因为探视权是亲子关系的一种体现，对于子女的健康成长和情感需求具有重要意义。
对探视权的限制或调整：
- 虽然不能直接取消探视权，但如果一方在行使探视权时存在不利于子女身心健康的行为，如虐待、遗弃子女，或者对子女有犯罪行为等，另一方可以向法院提出申请，要求限制或中止其探视权。
- 另外，如果一方长期不履行抚养义务，导致子女生活困难或受到其他不利影响，另一方也可以向法院提起诉讼，要求变更抚养关系或要求对方履行抚养义务。在诉讼过程中，法院可能会根据具体情况对探视权进行相应的调整或限制。
实际操作建议：
- 如果孩子爸爸没有尽到抚养义务，且你担心其探视会对孩子造成不利影响，建议首先与对方进行沟通协商，尝试达成一个对双方和孩子都有利的探视安排。
- 如果沟通无果，你可以向法院提起诉讼，要求限制或调整对方的探视权。在诉讼过程中，你需要提供充分的证据证明对方存在不利于子女身心健康的行为或长期不履行抚养义务的情况。
- 同时，你也可以考虑向法院申请变更抚养关系，如果法院认为由你抚养孩子更有利于孩子的成长和健康，那么可能会判决变更抚养关系，并相应地调整探视权。
总结与建议：孩子爸爸没有尽到抚养义务并不能直接取消其探视权，但你可以通过法律途径对探视权进行限制或调整。在处理此类问题时，建议保持冷静和理性，通过沟通协商或法律途径来解决问题，以维护孩子的合法权益和健康成长。如果你有任何具体的法律问题或需要进一步的帮助，请直接向我咨询。