针对您提出的“家人不让小女孩不上学归什么机构管理”的问题，这确实是一个涉及未成年人权益保护和教育权益的重要议题。

首先，根据《中华人民共和国未成年人保护法》的相关规定，各级人民政府有责任保障未成年人受教育的权利，特别是对于尚未完成义务教育的辍学未成年学生，教育行政部门应当责令父母或者其他监护人将其送入学校接受义务教育。这意味着，如果家人不让小女孩上学，教育行政部门是有权介入并采取措施的。

具体来说，您可以向当地的教育行政部门（如教育局）反映这一情况。教育行政部门会对此进行调查，并根据实际情况采取相应的措施，包括但不限于责令家人送小女孩入学、提供必要的法律援助或心理辅导等。

此外，如果家人的行为构成了对小女孩受教育权的严重侵犯，甚至可能涉及到虐待或遗弃等违法行为，那么民政部门也可能根据《中华人民共和国未成年人保护法》的相关规定，对小女孩进行临时监护或长期监护，以确保她的基本生活和教育需求得到满足。

同时，教育部办公厅印发的《禁止妨碍义务教育实施的若干规定》也明确指出，适龄儿童、少年的父母或者其他法定监护人应当依法保证其按时入学接受并完成义务教育。对于违法违规导致适龄儿童、少年未接受义务教育的行为，将依法依规严厉查处问责。

因此，我建议您首先与家人进行沟通，了解他们不让小女孩上学的原因，并尝试说服他们改变决定。如果沟通无果，您可以向当地的教育行政部门或民政部门寻求帮助，他们将会根据相关法律法规和政策，为小女孩提供必要的保护和支持。

总之，保护未成年人的受教育权是全社会的共同责任，我们应当共同努力，确保每一个孩子都能享受到公平而有质量的教育。