根据《事业单位人事管理条例》的规定，事业单位下属单位的人事档案应由事业单位主管部门具体负责管理。该条例明确指出，事业单位人事管理坚持党管干部、党管人才原则，并实行分级分类管理。中央事业单位人事综合管理部门负责全国事业单位人事综合管理工作，而县级以上地方各级事业单位人事综合管理部门则负责本辖区事业单位人事综合管理工作。具体到所属事业单位的人事管理工作，则由事业单位主管部门来负责。

因此，对于事业单位下属单位的人事档案管理，应遵循这一管理规定，由事业单位主管部门来具体负责，以确保人事档案的规范、安全和有效利用。