找中间人办理驾照退了一部分钱，这一行为本身是否违法，需结合具体情况来分析。

1. 如果中间人本身不具备办理驾照的合法资质或权限，且通过非法手段（如伪造文件、行贿等）试图办理驾照：

   • 在这种情况下，即使你退了一部分钱，但因为你参与了非法办理驾照的行为，该行为本身就违反了法律法规。根据《中华人民共和国道路交通安全法》及相关规定，申请机动车驾驶证应当依法向公安机关交通管理部门提出申请，并符合规定的条件。任何非法获取驾照的行为都是违法的。
   • 法律后果：你可能面临行政处罚，如罚款、拘留等；如果情节严重，还可能构成犯罪，如伪造国家机关证件罪等，将承担刑事责任。

2. 如果中间人声称能办理驾照，但实际上是骗取你的钱财，并未真正尝试办理或办理未果：

   • 在这种情况下，你退钱的行为可能是出于对骗局的察觉或中间人的主动退还。但无论如何，你因为轻信中间人而支付了钱财，这一行为本身虽然不直接构成违法，但你可能遭受了经济损失。
   • 法律建议：你应立即向公安机关报案，提供相关证据，以便追回损失并打击诈骗行为。

3. 如果中间人具备某种合法或特殊的渠道（但非正规驾照办理渠道），且你对此知情并参与：

   • 即使你退了一部分钱，但因为你参与了非正规渠道的驾照办理行为，这仍然可能违反相关法律法规或规章制度。驾照的办理应当遵循正规的程序和规定，任何非正规渠道都可能存在风险。
   • 法律后果：你可能面临行政处罚或民事纠纷，具体取决于相关法律法规的规定和实际情况。

总体建议：

• 办理驾照应当遵循正规的程序和规定，不要轻信中间人的承诺或通过非正规渠道办理。
• 如果你已经参与了此类行为并退了一部分钱，建议立即停止并咨询专业律师，以评估你的法律风险和可能的法律后果。
• 如果你遭受了经济损失或发现了诈骗行为，应立即向公安机关报案。

最后，我要强调的是，法律是维护社会秩序和公平正义的基石。任何违反法律的行为都可能带来严重的法律后果。因此，在处理类似问题时，请务必谨慎行事并咨询专业律师的意见。如果你有任何法律问题或需要进一步的法律帮助，请直接向我咨询。