结论：您回去接小孩是否违法，需根据具体情况判断，主要看爷爷奶奶带走孩子的行为是否合法以及您接回孩子的方式是否恰当。以下从不同角度为您详细分析：
一、爷爷奶奶带走孩子的行为合法性分析
若爷爷奶奶带走孩子经过父母同意或符合法定监护职责
- 在这种情况下，爷爷奶奶带走孩子是合法的，他们作为孩子的祖父母，在父母同意或无法履行监护职责时，可以承担一定的照顾责任。
- 您若想接回孩子，应首先与爷爷奶奶进行沟通协商，说明您的意愿和理由，争取他们的理解和配合。通过和平方式解决问题，既符合法律精神，也有利于家庭关系的和谐。
若爷爷奶奶未经父母同意擅自带走孩子
- 这种行为可能构成对父母监护权的侵犯。根据《中华人民共和国民法典》的相关规定，父母是未成年子女的法定监护人，享有监护权，包括保护被监护人的人身权利、财产权利以及其他合法权益等。
- 爷爷奶奶未经父母同意擅自带走孩子，可能违反了父母的监护权，父母有权要求爷爷奶奶将孩子送回。
二、您接回孩子的方式合法性分析
若您通过和平、合理的方式接回孩子
- 例如，您与爷爷奶奶协商一致后接回孩子，或者您在爷爷奶奶非法带走孩子的情况下，通过法律途径（如向法院申请行为保全、提起监护权纠纷诉讼等）获得接回孩子的许可后接回孩子，这些都是合法的。
若您采取暴力、威胁等非法手段接回孩子
- 即使爷爷奶奶带走孩子的行为不合法，您也不能采取非法手段来接回孩子。因为采取暴力、威胁等非法手段可能构成对爷爷奶奶人身权利的侵犯，甚至可能触犯刑法，面临刑事处罚。
- 在这种情况下，您应寻求法律帮助，通过合法途径来维护自己的权益和接回孩子。
三、建议与措施
与爷爷奶奶沟通协商
- 首先尝试与爷爷奶奶进行沟通协商，了解他们带走孩子的原因和意图，说明您的担忧和意愿，争取达成共识并和平解决问题。
寻求法律帮助
- 如果沟通协商无果，或者爷爷奶奶的行为明显侵犯了您的监护权，您可以寻求法律帮助。可以向当地法律援助机构咨询或申请法律援助，也可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。
- 在必要时，您可以向法院提起监护权纠纷诉讼，请求法院判决爷爷奶奶将孩子送回，并维护您的监护权。
注意保护孩子身心健康
- 在整个过程中，您应始终关注孩子的身心健康和感受。避免在孩子面前发生争执或冲突，尽量减少对孩子的心理伤害。
最后，家庭纠纷往往涉及复杂的情感和法律关系，处理时需要谨慎和理智。如果您在处理过程中遇到任何困难或疑问，可以直接向我咨询，我会尽我所能为您提供专业的法律帮助和支持。