结论：一般情况下，不能仅因对方父母吵闹对孩子产生影响、孩子不愿去爸爸那里，就直接起诉取消探视权。不过，若存在法定情形，可向法院申请中止探视权，待中止事由消失后，还可申请恢复。下面为你详细分析：

探视权的基本规定

根据《中华人民共和国民法典》第一千零八十六条规定，离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。父或者母探望子女，不利于子女身心健康的，由人民法院依法中止探望；中止的事由消失后，应当恢复探望。

从这条法律规定可以看出，探视权是法律赋予不直接抚养子女一方的法定权利，另一方有协助的义务，不能随意剥夺。

不能直接起诉取消探视权的原因

孩子不愿去爸爸那里，是因为对方父母吵闹对孩子产生了影响，这并不直接等同于父或者母探望子女不利于子女身心健康。对方父母吵闹的行为，虽然可能给孩子带来一定的心理压力，但不一定达到严重损害孩子身心健康的程度。而且，孩子的意愿可能会受到多种因素的影响，比如一时的情绪、周围人的引导等，不能仅仅依据孩子一时的表述就判定取消探视权。

可申请中止探视权的法定情形

如果对方父母吵闹的行为，导致孩子出现了严重的心理问题，比如长期处于恐惧、焦虑状态，出现自闭、抑郁等倾向，或者孩子的身体因为这种吵闹环境受到了伤害等，这些情况可以认定为父或者母探望子女不利于子女身心健康。此时，不直接抚养子女的一方可以向人民法院提出申请，请求中止对方的探视权。

申请中止探视权的流程

1. 准备证据：需要收集能够证明对方探望子女不利于子女身心健康的证据，比如孩子的心理诊断报告、医院的身体检查报告、证人证言（如邻居、老师等看到孩子受到影响的陈述）等。
2. 提交申请：向有管辖权的人民法院提交中止探视权的申请书，并附上相关证据材料。
3. 法院审理：法院会对申请进行审理，根据双方提供的证据和陈述，判断是否存在中止探视权的法定事由。如果法院认定存在中止事由，会作出中止探视权的裁定。

中止事由消失后的恢复

当中止探视权的事由消失后，比如对方父母不再吵闹，孩子的生活环境得到改善，心理状态恢复正常等，不直接抚养子女的一方可以向人民法院申请恢复对方的探视权。法院会根据实际情况进行审查，如果认为符合恢复条件，会作出恢复探视权的裁定。

建议：你可以先和对方进行沟通，说明孩子目前的情况，希望对方能够改善其父母的行为，为孩子创造一个良好的成长环境。如果沟通无果，再考虑通过法律途径解决。在处理这个问题过程中，如果还有其他疑问，随时可以向我咨询。