结论：保姆把老人接回家照顾是否犯法，不能一概而论，需要分情况讨论。
若保姆与老人或其家属达成合法协议：
- 在这种情况下，保姆与老人或其家属之间可能形成了雇佣关系或服务合同关系。保姆按照协议内容，将老人接回家照顾，是履行合同义务的行为，并不构成违法。但前提是，这种协议必须是合法、有效的，且保姆在照顾过程中应尽到合理的注意义务，确保老人的安全和健康。
若保姆未经老人或其家属同意，擅自将老人接回家照顾：
- 在这种情况下，保姆的行为可能构成非法拘禁或侵犯他人住宅权等违法行为。因为保姆没有合法的权利或授权，擅自将老人带离其原居住地，并限制在保姆的家中，这侵犯了老人的自由权和住宅权。如果在此过程中，老人受到任何伤害或损失，保姆还可能承担相应的民事赔偿责任，甚至刑事责任。
特殊情况考虑：
- 如果老人因年迈、疾病等原因无法表达自己的意愿，且保姆与老人之间存在某种特殊关系（如亲属关系、长期照顾关系等），但未经法定程序（如成为老人的监护人）获得合法照顾权，此时保姆将老人接回家照顾的行为也可能存在法律风险。因为即使保姆的初衷是好的，但如果没有合法的授权或程序，其行为可能仍然被视为非法。
法律建议：
- 对于保姆而言，如果打算将老人接回家照顾，应首先与老人或其家属进行充分沟通，并达成合法、有效的协议。在照顾过程中，应尽到合理的注意义务，确保老人的安全和健康。
- 对于老人或其家属而言，如果同意保姆将老人接回家照顾，应明确双方的权利和义务，并签订书面协议。同时，应定期了解老人的生活状况，确保保姆的照顾行为符合协议要求。
- 如果发生任何争议或纠纷，建议及时寻求法律帮助，通过合法途径解决问题。
可能法律后果：
- 如果保姆的行为构成违法，可能面临刑事处罚（如非法拘禁罪）或民事赔偿责任。
- 如果老人或其家属因保姆的照顾行为受到损失，有权要求保姆进行赔偿。
总之，保姆把老人接回家照顾是否犯法，取决于具体的情况和法律规定。在做出任何决定之前，建议充分了解相关法律法规，并咨询专业人士的意见。如果你有任何具体的法律问题或需要进一步的法律建议，可以直接向我咨询。