结论前置：在离婚协议书中约定不直接抚养小孩的一方可以随时带孩子回家居住，这种表述存在法律风险且可能引发后续纠纷，不建议直接这样写。以下从法律角度详细分析并给出建议：
法律对探视权的规定
- 根据《民法典》第一千零八十六条，离婚后不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。
- 法律规定的“探望权”是定期或不定期的，并非“随时”。若协议中约定“随时”带孩子回家居住，可能超出法律对探望权行使方式的常规理解，后续若产生争议，法院可能根据实际情况调整探望方式。
“随时带孩子回家居住”的潜在风险
- 对子女生活的影响：子女的生活需要稳定性，频繁变更居住环境可能对其学习、心理产生不利影响。
- 与直接抚养方的冲突：若直接抚养方认为“随时”探望干扰了子女正常生活，可能拒绝配合，引发矛盾。
- 法律效力的不确定性：若协议内容违反法律强制性规定或公序良俗，可能被认定无效或部分无效。
建议的协议表述方式
- 明确探望时间：如“每周/每月探望X次，每次X小时/天，具体时间为……”，或“寒暑假共同生活X天”。
- 约定特殊情况处理：如“遇子女生病、考试等特殊情况，双方可协商调整探望时间”。
- 明确协助义务：如“直接抚养方应提供必要协助，不得无故阻挠”。
- 示例条款：“男方/女方有权每月探望子女两次，每次探望时间为周六上午9时至下午5时，探望地点为子女现居住地。寒暑假期间，男方/女方可与子女共同生活15天，具体时间由双方协商确定。直接抚养方应予以配合。”
若已签订类似协议的调整建议
- 若双方已签订包含“随时带孩子回家居住”的协议，且未引发纠纷，可暂不修改，但建议补充具体时间安排。
- 若已产生争议，可协商修改协议，或通过法院诉讼调整探望方式。
总结：离婚协议中应避免使用“随时”等模糊表述，而是明确探望的具体时间、方式，以保障子女权益和双方合法权益。如有进一步疑问，可直接向我咨询。