关于您提出的“孩子跟着对方，是否会丧失监护权以及有何影响”的问题，这是一个涉及法律权益和家庭关系的重要议题。以下是我为您提供的详细解答：

首先，我们需要明确监护权和抚养权的区别。监护权是监护人对未成年子女的人身权益、财产权益等所享有的监护、保护的身份权，它涵盖了抚养、教育、保护等多个方面。而抚养权则主要指的是直接抚养未成年子女的权利。在法律上，父母是未成年子女的法定监护人，这一地位不会因为婚姻关系的解除或子女抚养权的变更而轻易改变。

一、孩子跟着对方，并不意味着丧失监护权

1. 法律原则：根据《中华人民共和国民法典》的相关规定，父母对未成年子女负有抚养、教育和保护的义务，且父母是未成年子女的监护人。这一原则不会因为父母离婚或子女抚养权的变更而改变。

2. 抚养权与监护权的关系：抚养权只是监护权的一部分，它主要关注的是子女的日常生活照料。即使一方获得了抚养权，另一方仍然保留着对子女的监护权，包括对子女的教育、保护等方面的权利和义务。

3. 实际案例：以您提供的案例为例，黄某和杜某离婚后，虽然婚生女黄小某由黄某直接抚养，但杜某作为母亲仍然享有探视权，并且其监护权并未因抚养权的变更而丧失。当杜某擅自将黄小某带走时，法院认定其行为侵犯了黄某的监护权，并作出了相应的禁令。

二、丧失监护权或监护权受限的影响

1. 对子女的影响：监护权的稳定对于子女的健康成长至关重要。如果监护权频繁变更或受到不当限制，可能会给子女带来心理上的困扰和不安，影响其正常的生活和学习。

2. 对父母的影响：丧失监护权或监护权受限意味着父母在子女成长过程中的参与度降低，可能无法及时了解子女的需求和状况，从而错过重要的教育和保护时机。同时，这也可能引发家庭内部的矛盾和冲突，对父母的心理健康造成负面影响。

3. 法律后果：如果一方擅自改变子女的抚养状态或侵犯另一方的监护权，可能会面临法律上的制裁。如您提供的案例中，杜某因擅自将黄小某带走而受到了法院的禁令处罚。

三、建议

1. 尊重法律：父母在处理子女抚养和监护问题时，应严格遵守法律法规，尊重对方的监护权和抚养权。

2. 理性沟通：如果双方在子女抚养和监护问题上存在分歧，应通过理性沟通、协商解决，避免采取过激行为或擅自改变子女的抚养状态。

3. 寻求法律帮助：如果无法通过协商解决问题，可以寻求法律帮助，通过法律途径维护自己的合法权益和子女的最佳利益。

综上所述，孩子跟着对方并不意味着丧失监护权。监护权是父母对未成年子女的重要法律权益，它不会因为婚姻关系的解除或子女抚养权的变更而轻易改变。父母在处理子女抚养和监护问题时，应严格遵守法律法规，尊重对方的权利，共同为子女的健康成长创造良好的环境。