受贿的赃款无论是否用于家庭，均应当予以退还，不能因为未用于家庭就不退。以下从多个角度进行分析说明：

一、法律义务角度

根据我国《刑法》及相关司法解释的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。受贿罪作为贪污贿赂犯罪的一种，其违法所得即受贿的赃款，无论是否被用于家庭开支，均属于违法所得的范畴，应当依法予以追缴。这是犯罪分子必须履行的法律义务，不因其主观意愿或赃款用途而改变。

二、赃款性质角度

受贿的赃款是犯罪分子通过非法手段获取的财物，其性质属于违法所得。这种违法所得不仅损害了国家工作人员的职务廉洁性，也破坏了社会的公平正义和法治秩序。因此，无论赃款是否被用于家庭，都不能改变其违法所得的性质，也不能成为犯罪分子逃避退还义务的理由。

三、家庭责任角度

虽然受贿的赃款可能被犯罪分子用于家庭开支，但家庭成员并不因此而获得合法所有权。家庭成员如果明知是赃款而接受或使用，还可能构成掩饰、隐瞒犯罪所得罪等犯罪。因此，从家庭责任的角度来看，犯罪分子及其家庭成员也不应当因为赃款被用于家庭而拒绝退还。

四、实际案例角度

在实际案例中，法院在判决受贿罪时，通常会明确要求犯罪分子退还受贿的赃款。如果犯罪分子拒绝退还或无法退还，法院可能会依法追缴其其他等值财产或采取其他强制措施。这进一步说明了受贿的赃款无论是否用于家庭，均应当予以退还的法律原则。

五、法律后果角度

如果犯罪分子拒绝退还受贿的赃款，除了可能面临更严厉的刑事处罚外，还可能影响其减刑、假释等刑罚执行方面的权益。此外，犯罪分子的家庭成员如果因为赃款问题而涉及其他犯罪，也将面临相应的法律责任。

建议：作为犯罪嫌疑人或被告人，应当积极配合司法机关的工作，主动退还受贿的赃款，以争取从轻或减轻处罚。如果对于退还赃款的具体程序或法律后果存在疑问，可以直接向我咨询，我将根据具体情况提供详细的法律解答和建议。