结论：能否拿回剩余的钱，取决于这部分钱的性质、来源以及是否与其他违法所得存在混同等多种因素。以下从不同情况为你详细分析：

合法来源部分与违法所得明确区分且无混同

如果剩余的钱能够明确证明是合法来源，与违法所得在财务记录、资金流向等方面有清晰的区分，且不存在任何混同的情况，那么这部分合法的钱是可以拿回的。

举例：比如你有一笔资金，其中一部分是正常工资收入，另一部分是参与非法赌博所得。如果工资收入有完整的工资条、银行流水等证据证明其合法性，且与赌博所得的资金账户、资金流向完全独立，那么工资收入这部分合法资金是可以主张拿回的。

法律背景：根据相关法律规定，合法的财产受法律保护，任何组织或者个人不得侵犯。在处理违法所得时，应当遵循合法、公正、公开的原则，只对违法所得部分进行追缴、没收等处理，不影响合法财产的权益。

合法来源部分与违法所得存在混同

如果剩余的钱与违法所得存在混同，比如资金存入同一个账户，且无法清晰区分合法与违法的具体金额，那么情况就会比较复杂。

情况一：如果能够通过专业的财务审计、调查等手段，大致估算出合法部分的比例或金额，那么在扣除违法所得后，剩余的合法部分理论上是可以拿回的。但实际操作中，可能会因为证据的充分性、审计的准确性等因素，存在一定的难度和争议。

举例：你有一个银行账户，既有正常的生意往来收入，也有非法集资的款项存入。在案件处理过程中，通过审计发现生意往来收入占账户总资金的60%，非法集资款项占40%。那么在追缴非法集资款项后，生意往来收入这60%的部分，在符合相关条件的情况下，是可以主张拿回的。

情况二：如果无法区分合法与违法的具体金额，或者虽然能够区分但合法部分的比例极小，那么可能会面临合法部分也难以拿回的风险。因为在这种情况下，从保护社会公共利益、打击违法犯罪的角度出发，可能会倾向于将混同的资金整体视为违法所得进行处理。

法律建议：

1. 收集证据：尽可能收集能够证明剩余钱款合法性的证据，如合同、发票、银行流水、工资条等，以证明这部分钱款的来源和性质。
2. 咨询专业意见：由于涉及违法所得和合法财产的区分问题，情况往往比较复杂，建议及时向我咨询，我会根据具体情况为你提供专业的法律意见和解决方案。
3. 配合调查：在相关机关进行调查时，要积极配合，如实说明情况，提供相关证据，以便更好地维护自己的合法权益。

可能的法律后果：如果剩余的钱款被错误地认定为违法所得而被追缴、没收，你可以通过法律途径进行申诉、复议或诉讼，要求纠正错误的处理决定，返还被错误处理的合法财产。但这一过程可能会比较漫长和复杂，需要你有足够的耐心和证据支持。

总之，能否拿回剩余的钱需要综合考虑多种因素。如果你有具体的案件情况或疑问，可以直接向我咨询，我会为你提供更详细、更准确的法律解答。