职业借贷人的钱不可以不还，但具体返还情况需根据法律规定和实际情况综合判断。以下从不同角度为您详细分析：
一、法律对职业借贷行为的认定
职业借贷行为，通常指未经国务院银行业监督管理机构批准，单位或个人频繁从事放贷业务，以获取利息收益的行为。根据《中华人民共和国银行业监督管理法》第十九条，未经批准，任何单位或个人不得设立银行业金融机构或从事银行业金融机构的业务活动。违反此规定的民事法律行为，可能被认定为无效。
二、借款合同无效的法律后果
若借款合同被认定无效，根据《中华人民共和国民法典》第一百五十七条，借款人无需按照合同约定返还借款本金及利息。但这并不意味着借款人可以完全不承担任何责任。借款人仍需返还因借款而取得的财产，即借款本金。
三、利息返还的法律规定
对于借款利息，若出借人主张利息，法院会根据具体情况判断是否支持以及支持的利息标准。在职业借贷案件中，由于借款合同可能被认定无效，借条中约定的利息法院通常不予认定。但借款人可能需要支付资金占用期间的利息，该利息标准一般低于合同约定的利息。
四、借款人的过错责任
若借款人在借款过程中存在过错，如明知对方为职业放贷人仍与之借款，或者借款用于非法活动等，借款人可能需要承担相应的法律责任。这包括但不限于返还借款本金、支付资金占用期间的利息，以及可能面临的罚款、拘留等行政处罚。
五、实际案例分析
以平远法院审理的一起民间借贷纠纷案件为例，债权人林先生被认定为职业放贷人，其与债务人赖先生之间的民间借贷行为被认定无效。但法院判决赖先生仍需返还借款本金40000元，并支付资金占用期间的利息。这一案例表明，即使借款合同无效，借款人仍需承担返还借款本金的法律责任。
六、建议与风险提示
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。我将根据您的具体情况，为您提供专业、全面的法律服务。