关于“孩子从小只有一方抚养，法律上是否可以拒绝带去对方家”的问题，首先我们要明确的是，父母对子女均负有抚养、教育的义务，这是法律规定的，不因孩子主要由哪一方抚养而有所改变。

在法律上，不能简单地因为孩子从小主要由一方抚养就拒绝将孩子带去对方家。具体来说：

1. 父母的抚养义务：根据《民法典》的相关规定，父母对子女有抚养教育的义务。这种义务是法定的，不因婚姻关系的存续或终止而改变。即使孩子从小主要由一方抚养，另一方也依然享有对孩子的抚养权，包括与孩子相处、教育孩子等。

2. 孩子的权益：孩子作为独立的个体，也享有与父母双方相处的权益。拒绝将孩子带去对方家，可能会剥夺孩子与另一方父母相处的机会，这对孩子的成长和心理健康都是不利的。

3. 实际操作的考虑：在实际操作中，如果双方就孩子的抚养问题存在争议，可以通过协商、调解或诉讼等方式来解决。但无论如何，都不能简单地拒绝将孩子带去对方家。

因此，我建议你在处理这类问题时，要充分考虑法律的规定、孩子的权益以及实际操作的可行性。如果双方就孩子的抚养问题存在分歧，可以寻求专业的法律帮助，通过合法途径来解决问题。如果你有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。