在诈骗罪案件中，若第二责任人同时也是受害者，其退赔问题需结合具体情况分析，核心结论如下：

1. 退赔责任的法律基础
   根据《刑法》第六十四条及《最高人民法院关于刑事裁判涉财产部分执行的若干规定》，犯罪分子违法所得的一切财物，应当予以追缴或责令退赔。若第二责任人实际参与诈骗行为（如协助实施、分赃等），即使其本人也是受害者（如被主犯欺骗参与），仍需对违法所得承担退赔责任。但退赔范围通常限于其实际参与的犯罪数额及个人违法所得部分。

举例：若第二责任人被主犯诱骗参与诈骗，实际分得赃款10万元，但案件总涉案金额为100万元，则其退赔责任原则上限于10万元及可能被追缴的关联财物。

1. 受害者身份对退赔的影响
   若第二责任人能证明其本人也是受害者（如被主犯胁迫、欺骗参与，且未实际获利或获利极少），可向法院提出从轻或免除退赔责任的申请。此时需提供证据证明：
   
   • 参与犯罪的被动性（如被威胁、误导）；
     
   • 未实际控制或使用违法所得；
     
   • 积极配合追缴赃款赃物。
     

法律后果：法院可能酌情减少退赔金额，或责令其退赔后向主犯追偿（若主犯有赔偿能力）。

1. 退赔与民事赔偿的区分

   • 刑事退赔：针对违法所得的追缴，优先返还给被害人，不足部分由犯罪分子继续退赔。
     
   • 民事赔偿：若第二责任人因犯罪行为给被害人造成其他损失（如精神损害、间接经济损失），被害人可另行提起民事诉讼要求赔偿。但若第二责任人已承担刑事退赔责任，民事赔偿范围可能相应减少。

2. 实务建议

   • 证据收集：第二责任人应尽快固定参与犯罪的被动性证据（如聊天记录、录音、证人证言），以及自身受损的证据（如被主犯欺骗的转账记录、投资损失证明）。
     
   • 主动退赔：若经济能力允许，可主动退赔部分款项以争取从宽处理（如减刑、缓刑）。
     
   • 申请分期退赔：若一次性退赔困难，可向法院申请分期履行，但需提供财产状况证明及还款计划。
     
   • 追偿权行使：退赔后，可向法院提起民事诉讼，要求主犯赔偿其因退赔遭受的损失（需在诉讼时效内主张）。

总结：第二责任人即使作为受害者，仍可能需承担部分退赔责任，但可通过证明被动参与、未实际获利等情节争取减轻责任。建议尽快委托律师介入，通过证据固定和法律程序维护权益。如有具体案情或证据材料，可进一步向我咨询细节。