在不知情的情况下，爷爷奶奶把小孩带回家又让回家多次，这一行为是否违法，需根据具体情况来分析。
若爷爷奶奶是小孩的合法监护人或经监护人同意：
- 在这种情况下，爷爷奶奶的行为通常不构成违法。他们作为小孩的监护人或经监护人同意，有权对小孩进行照顾和看管，包括决定小孩的居住地点。当然，这种决定应当符合小孩的最佳利益，且不得损害小孩的身心健康。
若爷爷奶奶并非小孩的合法监护人，且未经监护人同意：
- 擅自将小孩带回家：这一行为可能构成非法拘禁或拐骗儿童。非法拘禁是指以拘禁或者其他强制方法非法剥夺他人人身自由的行为；拐骗儿童则是指以欺骗、利诱或者其他方法，使不满14周岁的未成年人脱离家庭或者监护人的行为。如果爷爷奶奶的行为符合这些定义，那么他们可能面临法律责任。
- 多次让小孩回家又带走：这种反复的行为可能进一步加剧对小孩和监护人的困扰，也可能被视为对小孩和监护人权益的持续侵犯。如果这种行为导致了小孩或监护人的精神损害或其他损失，爷爷奶奶可能需要承担相应的民事责任。
法律建议：
- 如果您是小孩的监护人，且认为爷爷奶奶的行为侵犯了您和小孩的权益，建议您首先与爷爷奶奶进行沟通，尝试通过协商解决问题。
- 如果沟通无果，或者您认为爷爷奶奶的行为已经构成了违法，您可以向当地公安机关报案，或者向人民法院提起诉讼，要求维护您和小孩的合法权益。
可能的法律后果：
- 如果爷爷奶奶的行为被认定为非法拘禁或拐骗儿童，他们可能面临刑事处罚，包括有期徒刑、拘役或罚金等。
- 如果他们的行为导致了小孩或监护人的损失，他们还需要承担相应的民事责任，如赔偿损失、赔礼道歉等。
总结与提醒：
- 在处理此类问题时，请务必保持冷静和理性，通过合法途径来维护自己的权益。
- 如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况，为您提供专业的法律建议和支持。