在刑事案件中，若被告人被判定需向受害方进行退赔却拒绝执行或无力执行，将会面临多重严重的法律后果。以下是从不同角度对这一问题的详细分析：

一、刑事量刑方面

1. 影响从轻量刑：积极退赔是刑法中的酌定从轻处罚情节。法院在量刑时，会充分考虑被告人是否积极退赔及其程度。若被告人有能力退赔却拒不退赔，法院通常不会对其从轻处罚，甚至可能加重刑罚。例如，在盗窃案件中，积极退赔全部赃款可能获得缓刑，而拒绝退赔则可能面临实刑。

2. 限制减刑、假释：根据相关法律规定，罪犯积极执行财产刑和履行附带民事赔偿义务的，视为有认罪悔罪表现，可获从宽减刑、假释；反之，有能力却不执行、不履行的，将严格限制减刑、假释，甚至不予减刑、假释。

二、民事赔偿方面

1. 强制执行：刑事诉讼过程中常附带民事诉讼，一旦法院判决被告人承担退赔责任而未主动履行，被害人可在判决生效后申请强制执行。法院有权采取多种强制措施，如查询、冻结、划拨银行存款，查封、扣押、拍卖房产、车辆等财产，以确保退赔义务得到履行。

2. 利息与迟延履行金：被告人不及时退赔，除支付原款项外，还需承担迟延履行期间的利息或迟延履行金。这增加了被告人的经济负担，利息通常按同期银行贷款利率计算，迟延履行金则依法按日加收。

三、个人信用及社会影响方面

1. 纳入失信名单：若被告人拒不退赔且在强制执行阶段仍不履行，法院可将其纳入失信被执行人名单（即“老赖”名单）。被列入失信名单后，被告人将面临诸多限制，如乘坐飞机、高铁等高消费行为受限，入住星级宾馆受限，购买不动产受限，子女就读高收费私立学校受限等。

2. 社会声誉受损：拒不退赔行为将对被告人个人声誉造成负面影响，这种负面信息可能在社交圈子、工作环境中传播，进而影响其人际关系和职业发展。在商业活动或职业领域，信用状况至关重要，不良信用记录可能导致信任度降低，失去合作机会或职业晋升机会。

四、特殊情况下的后果

1. 对于诈骗罪等特定罪名：若犯罪分子不仅不退赔，还采取掩盖、隐藏赃款赃物的行为，导致赃款赃物无法追回，这将被视为情节恶劣，可能会导致其罪行的进一步加重。

2. 对家庭生活的影响：失信状态不仅对被告人本人有影响，还可能波及家庭成员。例如，可能影响其子女就读高收费私立学校等，从而对家庭生活造成负面影响。

总结与建议：

被告人应充分认识到拒不退赔的严重后果，并积极履行法院的退赔判决。如确实存在履行困难，应及时与法院和受害方沟通，寻求分期履行、延期履行或其他妥善解决方案，以减轻可能的法律后果和社会影响。同时，我也建议受害方在遭遇此类情况时，及时咨询专业律师，通过法律途径维护自己的合法权益。如果你有任何法律问题，都可以直接向我咨询，我会尽我所能为你提供帮助。