关于“家庭出身由哪个部门认定”这一问题，首先需要明确的是，“家庭出身”这一概念在当前的政策语境下，并不直接对应一个具体的、由单一部门负责的认定流程。不过，若您的问题更侧重于家庭经济状况或社会救助资格的认定，那么我可以根据相关政策为您详细解答。

在涉及家庭经济状况或社会救助资格的认定方面，民政部门扮演着重要角色。具体来说，对于刚性支出困难家庭（这类家庭有别于低保家庭、特困人员等传统的社会救助对象，其家庭成员一般拥有一定收入，但因在医疗、教育、残疾康复等方面的刚性支出较大，导致其家庭基本生活存在实际困难）的认定工作，是由县级民政部门负责的。如果认定权限下放至乡镇（街道），县级民政部门也会加强指导和监督。

此外，民政部还设有低收入家庭认定指导中心，该中心负责相关的政策制定、指导以及监督工作，以确保家庭经济状况认定的公正性和准确性。虽然这个中心并不直接对每一个家庭进行出身或经济状况的认定，但它为地方民政部门提供了专业的指导和支持。

如果您所指的“家庭出身”实际上是与家庭经济状况、社会救助资格等相关的认定，那么可以明确地说，这类认定工作主要由民政部门负责，具体执行可能涉及县级民政部门或其下放的乡镇（街道）机构，并受到民政部低收入家庭认定指导中心等上级机构的指导和监督。

如果您的问题有其他特定的含义或背景，欢迎您进一步说明，以便我能提供更准确的解答。