单位无需为员工家属的非法集资行为承担责任。如果受害人污蔑单位，单位可以采取以下措施来应对：

1. 澄清事实：

   • 单位应迅速且明确地发表声明，澄清与员工家属非法集资行为的关系，表明单位并未参与、支持或知晓该行为。
   • 提供相关证据，如单位财务报表、员工管理记录等，以证明单位的清白。

2. 法律途径维权：

   • 如果受害人的污蔑行为对单位名誉造成了损害，单位可以依法向法院提起名誉权诉讼，要求受害人停止侵害、消除影响、赔礼道歉，并赔偿因此产生的经济损失。
   • 若受害人散布虚假信息构成诽谤，且情节严重，单位还可以考虑向公安机关报案，追究其刑事责任。

3. 加强内部管理：

   • 单位应加强对员工及其家属的法治教育，明确告知他们非法集资的严重性和法律后果。
   • 建立完善的员工管理制度，对员工及其家属可能涉及的风险行为进行监督和预警。

4. 积极沟通：

   • 与受害人进行积极沟通，了解其诉求和误解，尝试通过和解的方式解决纠纷。
   • 如果沟通无果，可以寻求第三方调解机构的帮助，以更专业、更公正的方式处理矛盾。

5. 保留证据：

   • 单位应妥善保留与受害人沟通的记录、相关证据材料以及单位内部的规章制度等，以备不时之需。

综上所述，面对员工家属的非法集资行为和受害人的污蔑，单位应澄清事实、依法维权、加强内部管理、积极沟通并保留证据。如果单位在处理过程中遇到任何法律问题或需要进一步的法律帮助，可以直接向我咨询。