职业放贷人构成非法经营罪时的违法所得应上缴国库。以下是对这一结论的详细分析：

一. 违法所得应上缴国库

• 法律依据：根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着非法经营所获得的违法所得，依法应被追缴，并上交国库。

二. 不直接退还借款人

• 非法经营罪的本质：非法经营罪是扰乱市场秩序、情节严重的犯罪行为。在非法放贷构成非法经营罪的情况下，放贷行为本身违法，因此所收取的利息属于违法所得。这些违法所得并非借款人的合法财产，故不直接退还借款人。

三. 对借款人的保护

• 利息的返还问题：虽然违法所得不直接退还借款人，但在法律程序中，如果借款人能证明其支付了非法利息，这部分利息有可能在追缴违法所得的过程中被考虑。然而，这并不意味着借款人能直接获得这部分利息的返还，而是需要通过法律程序来处理。

四. 法律后果

• 对职业放贷人的处罚：根据《中华人民共和国刑法》第二百二十五条的规定，对于非法经营放贷的，自然人犯的将处五年以下有期徒刑或者拘役，并处或者单处违法所得一倍以上五倍以下罚金；情节特别严重的，处五年以上有期徒刑，并处违法所得一倍以上五倍以下罚金或者没收财产。单位犯此罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员依法追究刑事责任。

我的观点：职业放贷人构成非法经营罪时的违法所得应上缴国库，这是法律规定的义务，旨在维护社会公平正义和市场秩序。对于借款人而言，虽然违法所得不直接退还，但通过法律程序有可能间接获得部分利益的保障。如有进一步需要，您可以继续咨询我。