侵犯著作权退赃的钱，一般会退还给著作权人或其合法继承人，也可能根据具体情况退还给其他相关权利人。以下是对这一问题的详细分析：

1. 退赃的基本原则：

   • 在侵犯著作权的案件中，如果侵权人通过非法手段获取了经济利益，如销售侵权复制品、未经许可使用他人作品等，这些非法所得在法律上应当被追缴并退还给合法的权利人。
   • 退赃的目的是恢复被侵权人的经济损失，维护其合法权益，并彰显法律的公正与威严。

2. 退赃的具体对象：

   • 著作权人：作为作品的创作者或原始权利人，著作权人是最直接的受害者。因此，退赃的首要对象通常是著作权人本人。
   • 合法继承人：如果著作权人已经去世，其非法所得可能会退还给其合法继承人，以继承著作权人的财产权益。
   • 其他相关权利人：在某些情况下，如著作权被转让或授权给他人使用，退赃的对象也可能包括这些受让人或被授权人，具体取决于侵权行为对他们的实际影响。

3. 退赃的流程与注意事项：

   • 退赃流程：通常，退赃会在司法机关的监督下进行，确保非法所得能够准确、及时地退还给合法的权利人。这可能涉及对侵权所得的查封、扣押、拍卖等程序。
   • 注意事项：
     • 在退赃过程中，需要确保退赃对象的合法性，避免将非法所得退还给非法的权利人或无关第三方。
     • 如果侵权行为涉及多个权利人或复杂的法律关系，退赃过程可能会更加复杂，需要仔细审查相关证据和法律文件。

4. 特殊情况下的退赃：

   • 如果侵权人已经将非法所得挥霍一空或无法追回，退赃可能无法实现。在这种情况下，著作权人或其他相关权利人可以通过其他法律途径来维护自己的权益，如提起民事诉讼要求赔偿损失。
   • 如果侵权行为构成犯罪，侵权人还可能面临刑事处罚，如罚金、有期徒刑等。这些刑事处罚与退赃是独立的法律后果，互不影响。

总结与建议：

侵犯著作权退赃的钱一般会退还给著作权人或其合法继承人，也可能根据具体情况退还给其他相关权利人。在退赃过程中，需要确保退赃对象的合法性，并遵循司法机关的指导和监督。如果您作为著作权人或相关权利人遇到了侵犯著作权的情况，并涉及退赃问题，建议您及时咨询专业律师，以便更好地维护自己的合法权益。