结论：这种行为是违法的，且主要违法方是中介，但贷款人在某些情况下也可能承担一定的法律责任。

详细分析：

1. 中介的违法行为：

   • 诈骗行为：中介以非法占有为目的，通过虚构事实或隐瞒真相的方式，使贷款人产生错误认识，并基于这种错误认识处分了自己的财产（即贷款五十万，但实际到手只有二十万，三十万被中介非法占有）。这种行为符合诈骗罪的构成要件，中介可能因此承担刑事责任。
   • 合同欺诈：如果中介与贷款人之间签订了相关合同，但合同中存在欺诈性条款或中介故意隐瞒重要事实，导致贷款人遭受损失，中介还可能构成合同欺诈，需要承担民事赔偿责任。

2. 贷款人的法律责任：

   • 一般情况：在大多数情况下，贷款人是受害者，他们因为中介的欺诈行为而遭受了经济损失。因此，贷款人通常不需要承担法律责任，反而有权要求中介赔偿损失。
   • 特殊情况：如果贷款人在贷款过程中存在过错，比如明知中介的行为不合法或存在风险，但仍然选择与之合作，那么贷款人可能需要承担一定的法律责任。这种责任可能是民事上的，比如与中介共同承担赔偿责任；也可能是行政上的，比如受到相关监管机构的处罚。然而，在您描述的情况下，贷款人更可能是受害者，而非违法者。

3. 法律后果与建议：

   • 刑事后果：如果中介的行为构成诈骗罪，他们可能面临有期徒刑、拘役或罚金等刑事处罚。
   • 民事后果：贷款人有权要求中介返还被非法占有的资金，并赔偿因此造成的损失。如果中介无法返还或赔偿，贷款人可以通过法律途径追讨。
   • 建议：对于贷款人来说，一旦发现中介存在欺诈行为，应立即报警并保留相关证据（如合同、转账记录、聊天记录等）。同时，也可以咨询专业律师（如我，杨甜律师，专注于法律顾问、债权债务领域），了解自己的法律权益和维权途径。

总结：贷款五十万到手二十万，中介拿走三十万的行为是违法的，主要违法方是中介。贷款人在大多数情况下是受害者，但如果在贷款过程中存在过错，也可能需要承担一定的法律责任。因此，建议贷款人在遇到类似情况时，及时报警并咨询专业律师以维护自己的合法权益。