赌博罪中，非法获利的钱依法要被追缴或责令退赔。以下是对这一问题的详细分析：

一、法律依据

根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。在赌博罪中，非法获利的钱属于违法所得的范畴，因此依法要被追缴或责令退赔。

二、司法机关的处理方式

1. 追缴：若司法机关已查明非法获利款项的去向，会按照法律规定进行追缴。这些追缴回来的款项，可能会返还给受到损失的一方，也可能会上缴国库。
2. 责令退赔：要是无法查明款项具体去向等情况，司法机关会责令犯罪嫌疑人退赔相应的金额。这意味着，即使犯罪嫌疑人已经将非法所得挥霍一空，也仍然需要承担退赔的责任。

三、处理非法获利的目的

对非法获利进行退赔或追缴，主要有两个目的：

1. 恢复社会经济秩序：赌博活动往往伴随着非法资金的流动，这些资金的流动会破坏正常的社会经济秩序。通过追缴或责令退赔非法获利，可以恢复被赌博犯罪破坏的社会经济秩序，让社会经济环境回归正常。
2. 减少被害人损失：赌博活动往往会导致被害人遭受经济损失。通过追缴或责令退赔非法获利，可以尽可能减少被害人因赌博犯罪遭受的经济损失，体现法律对被害人权益的保护。

四、实际案例中的处理

在实际案例中，如小许、小李、小胡三人长期组织赌博活动，从中非法获利。公安机关侦破此案后，查明三人在赌博活动中共获利50万元，但部分款项去向不明。在这种情况下，司法机关会依法追缴已查明去向的款项，并责令三人退赔无法查明去向的款项。三人关于不应承担全部退赔责任、不应全部追缴或不应责令退赔的观点，于法无据。

总结与建议：

赌博罪中，非法获利的钱依法要被追缴或责令退赔。这是法律对赌博违法犯罪行为的否定和制裁，也是保护被害人权益、恢复社会经济秩序的重要举措。如果您或您身边的人涉及赌博罪相关案件，建议及时咨询专业律师，以便更好地了解自身权益和义务，并采取相应的法律措施。