在侵犯著作权罪中，违法所得通常退给被害人（著作权人或相关权利人），而非直接退给法院。不过，在司法程序中，违法所得可能会先由司法机关追缴并保管，待法院判决后，再依法退还给被害人。以下从不同角度为您详细分析：

一、法律原则与目的

侵犯著作权罪中的违法所得，本质上是侵权人通过非法手段获取的利益，这些利益原本应属于著作权人或相关权利人。因此，从法律原则和目的出发，违法所得应当退还给被害人，以弥补其因侵权行为所遭受的经济损失。这既体现了对侵权行为的惩罚，也体现了对被害人权益的保护。

二、司法实践中的操作流程

1. 追缴阶段：在刑事案件侦查、起诉阶段，司法机关（如公安机关、检察院）会依法追缴侵权人的违法所得。这一阶段，违法所得可能会被暂时保管在司法机关指定的账户中。

2. 判决与退还阶段：待法院作出判决后，司法机关会根据判决结果，将追缴的违法所得依法退还给被害人。如果判决中明确要求侵权人直接向被害人退还违法所得，那么侵权人应当按照判决要求执行。

3. 特殊情况处理：在某些情况下，如果被害人难以确定或无法联系，或者违法所得的性质、数额等存在争议，司法机关可能会根据具体情况进行妥善处理，如提存、公告等。

三、具体案例与法律依据

• 案例一：小朱未经著作权人小胡许可，非法复制发行小胡的作品获利。小胡发现后，要求小朱退还因侵权获得的赃款。在司法程序中，小朱先将赃款退至司法机关，待法院判决后，由司法机关依法发还给小胡。这一案例体现了司法实践中对违法所得的追缴与退还流程。

• 法律依据：根据《中华人民共和国刑法》及相关司法解释的规定，侵犯著作权罪中的违法所得应当予以追缴，并退还给被害人。同时，《民法典》中的侵权责任规定以及《著作权法》对著作权人权益的保护条款，也为被害人主张退还违法所得提供了法律依据。

四、可能存在的争议与解决

在实际操作中，可能会存在关于违法所得性质、数额以及退还对象的争议。例如，侵权人可能主张部分所得并非违法所得，或者被害人可能主张退还的数额不足。对于这些争议，应当通过司法程序进行解决，如提出异议、申请重新鉴定等。

建议：

• 如果您是著作权人或相关权利人，发现自己的著作权被侵犯并存在违法所得时，应当及时向司法机关报案，并积极配合调查取证工作。

• 如果您是侵权人，应当认识到自己的行为已经构成犯罪，并主动退还违法所得以减轻处罚。同时，也可以寻求法律援助或咨询专业律师以了解自己的权利和义务。

希望以上分析能够对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时向我提问。