违法发放贷款罪的犯罪主体在承担刑事责任的同时，确实需要承担退赔责任。以下从不同角度为你详细分析：
一、法律责任构成
违法发放贷款罪，是指银行或者其他金融机构的工作人员违反国家规定发放贷款，数额巨大或者造成重大损失的行为。根据《中华人民共和国刑法》第一百八十六条的规定，犯此罪的，不仅会受到刑事处罚，如有期徒刑、拘役和罚金等，同时，对于因违法发放贷款给银行或其他金融机构造成的损失，犯罪主体还需承担退赔责任。
二、退赔责任的法律依据
刑事法律层面：虽然《刑法》第一百八十六条主要规定了违法发放贷款罪的刑事责任，但并未直接规定退赔责任。然而，在刑事司法实践中，退赔责任通常作为量刑情节之一被考虑，且《中华人民共和国刑法》第六十四条明确规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着，在违法发放贷款罪中，犯罪主体因违法发放贷款而获得的非法利益，或者给银行等金融机构造成的损失，应当予以退赔。
民事法律层面：从民事法律关系来看，违法发放贷款行为往往构成对银行等金融机构的侵权行为。根据《中华人民共和国民法典》的相关规定，侵权行为造成他人损害的，应当承担侵权责任，包括赔偿损失等。因此，在违法发放贷款罪中，犯罪主体除了承担刑事责任外，还需承担因侵权行为给银行等金融机构造成的损失的民事赔偿责任，这实际上就包含了退赔责任。
三、退赔责任的实际操作
在实际操作中，退赔责任通常会在刑事判决中一并作出处理。法院会根据犯罪主体的违法所得情况、给银行等金融机构造成的损失情况等因素，判决犯罪主体退赔相应的款项。如果犯罪主体拒不退赔，法院可以采取强制执行措施，如查封、扣押、冻结其财产等，以确保退赔责任的履行。
四、特殊情况下的责任承担
在某些特殊情况下，如犯罪主体已经死亡或者丧失民事行为能力等，退赔责任的承担可能会有所不同。但总体来说，无论犯罪主体的情况如何变化，其因违法发放贷款行为给银行等金融机构造成的损失都应当得到赔偿或退赔。
总结与建议：违法发放贷款罪的犯罪主体在承担刑事责任的同时，确实需要承担退赔责任。这不仅是对银行等金融机构损失的补偿，也是犯罪主体对其违法行为应承担的法律后果。如果你或你身边的人涉及此类问题，建议及时向我咨询，以便更好地维护自身权益。