您确实有权利不让公婆直接带小孩，但这一权利的行使需要考虑到多种因素和法律关系。以下是我从不同角度为您进行的分析：

1. 父母对子女的直接抚养权：

   • 根据《中华人民共和国民法典》的相关规定，父母是未成年子女的法定监护人，对子女有直接的抚养、教育和保护的权利和义务。这意味着，作为父母，您和您的配偶对子女的抚养问题有直接的决定权。
   • 如果您认为公婆的抚养方式或环境不利于孩子的成长，您有权拒绝他们直接抚养孩子，这是基于您作为父母对子女的直接抚养权。

2. 家庭关系与协商：

   • 虽然您有权利不让公婆直接带小孩，但家庭关系是复杂的，涉及到情感、伦理和道德等多个层面。在实际操作中，建议您与配偶进行充分的沟通，共同决定孩子的抚养方式。
   • 如果可能的话，也可以与公婆进行坦诚的交流，解释您的担忧和理由，寻求他们的理解和支持。毕竟，家庭和谐对于孩子的成长也是至关重要的。

3. 法律后果与责任：

   • 如果您坚持不让公婆带小孩，而公婆对此有异议，这可能会引发家庭矛盾。在极端情况下，如果公婆认为他们的权益受到了侵害，他们可能会寻求法律途径来解决争议。
   • 然而，从法律角度来看，除非公婆能够证明他们的抚养行为对孩子的成长更为有利，且您作为父母存在不利于孩子成长的情形（如虐待、遗弃等），否则他们很难通过法律手段获得直接抚养权。

4. 实际建议：

   • 在决定是否让公婆带小孩时，建议您综合考虑多种因素，包括孩子的成长需求、家庭的经济状况、您和配偶的工作安排等。
   • 如果您决定不让公婆直接带小孩，但希望他们能在其他方面给予帮助（如经济支持、偶尔的照看等），您可以与他们进行协商，明确各自的职责和期望。

总结来说，您作为父母对子女有直接的抚养权，有权决定是否让公婆直接带小孩。但在行使这一权利时，建议您充分考虑家庭关系、孩子的成长需求以及可能的法律后果。如果您有任何进一步的疑问或需要具体的法律建议，请随时向我咨询。