追究收留未成年人的人的责任，需根据具体情况判断其行为的性质及法律后果。以下从不同角度进行分析：
一、合法收留与非法收留的区分
合法收留：
- 若收留行为符合《中华人民共和国民法典》中关于收养的规定，即收养人具备法定条件（如无子女或只有一名子女、有抚养教育被收养人的能力等），并依法办理了收养登记手续，那么这种收留行为是合法的，收留人无需承担法律责任，反而享有法律赋予的收养权利。
非法收留：
- 若收留行为未经法定程序，或收留人不具备收养条件，甚至存在虐待、遗弃、利用未成年人进行违法活动等情形，则构成非法收留。非法收留未成年人可能涉及多个法律责任，包括但不限于民事责任、行政责任和刑事责任。
二、非法收留可能涉及的法律责任
民事责任：
- 如果收留行为对未成年人造成了损害（如身体伤害、精神损害等），收留人可能需要承担民事赔偿责任，包括赔偿医疗费、护理费、精神损害抚慰金等。
行政责任：
- 根据《中华人民共和国未成年人保护法》等相关法律法规，非法收留未成年人可能面临行政处罚，如警告、罚款、责令改正等。具体处罚措施取决于违法行为的严重程度和当地执法部门的裁量。
刑事责任：
- 虐待被监护、看护人罪：如果收留人在收留期间对未成年人实施了虐待行为，情节恶劣的，可能构成虐待被监护、看护人罪，依法应处三年以下有期徒刑或者拘役。
- 拐骗儿童罪：如果收留人以欺骗、利诱或者其他方法，使未成年人脱离家庭或者监护人的，可能构成拐骗儿童罪，依法应处五年以下有期徒刑或者拘役。
- 其他犯罪：如果收留行为还涉及其他犯罪行为（如强奸、猥亵儿童、组织未成年人进行违反治安管理活动等），则应根据具体罪名追究刑事责任。
三、实际案例与法律建议
- 实际案例：曾有案例显示，某人未经法定程序收留了一名流浪未成年人，并在收留期间对其进行虐待。后经邻居举报，公安机关介入调查，最终该收留人因虐待被监护、看护人罪被判处有期徒刑。
- 法律建议：
- 对于想要收留未成年人的人，应首先了解并遵守相关法律法规，确保自己具备收养条件，并依法办理收养登记手续。
- 对于发现非法收留未成年人行为的人，应及时向公安机关或相关部门举报，以保护未成年人的合法权益。
- 如果自己或他人因非法收留未成年人而面临法律责任，应尽快咨询专业律师，了解自己的权利和义务，并积极配合调查和处理工作。
总结来说，追究收留未成年人的人的责任需根据具体情况判断其行为的性质及法律后果。如果你或他人涉及此类问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。