中间人拿走4.9万不合法。针对您描述的情况，我们可以从以下几个方面进行分析：
一. 合同金额与实际到手金额不符的问题
根据《中华人民共和国民法典》第六百七十九条，自然人之间的借款合同，自贷款人提供借款时成立。这意味着，借款合同的成立与贷款金额的提供是同时进行的。如果实际提供的借款金额与合同约定的金额不符，那么应以实际提供的金额为准。在您的情况下，虽然贷款合同上写的是15万，但实际到手只有10.1万，因此应以10.1万作为借款金额。
二. 中间人收取费用的合法性
合法居间服务情形
- 根据《中华人民共和国民法典》第九百六十一条，中介合同是中介人向委托人报告订立合同的机会或者提供订立合同的媒介服务，委托人支付报酬的合同。中介人促成合同成立的，有权按照约定收取报酬。若对中介人的报酬没有约定或约定不明确，可依据《中华人民共和国民法典》第五百一十条进行协商补充；若协商不成，则根据中介人的劳务合理确定报酬。
- 因此，如果中间人提供了合法的居间服务，并且双方对报酬有明确的约定，那么中间人收取报酬是合法的。但需要注意的是，报酬的数额应当合理，并且应当在促成合同成立后才能收取。
非法行为情形
- 如果中间人未促成合同成立，却擅自拿走钱款，则构成违法行为。根据《中华人民共和国民法典》第九百六十四条，中介人未促成合同成立的，不得请求支付报酬。
- 在您的情况下，如果中间人只是帮您联系了贷款机构，但并没有实际促成贷款合同的成立（即您并没有从贷款机构直接获得15万贷款），那么中间人无权收取任何报酬。
- 此外，如果中间人故意隐瞒与订立合同有关的重要事实或者提供虚假情况，损害委托人利益的，不仅不得请求支付报酬，还应当承担赔偿责任（见《中华人民共和国民法典》第九百六十二条）。
三. 中间人可能构成的犯罪
- 如果中间人以非法占有为目的，虚构事实或隐瞒真相，骗取他人财物，则可能构成诈骗罪。这将涉及刑事责任，需根据《中华人民共和国刑法》的相关规定进行处罚。
- 在您的情况下，如果中间人没有提供合法的居间服务，却以贷款为由私自拿走了4.9万，那么其行为可能构成诈骗罪。
总结：
- 中间人拿走4.9万不合法，因为这既不符合合法居间服务的规定，也可能构成诈骗等犯罪行为。
- 我建议您立即与中间人进行沟通，要求其退还多收取的费用。
- 如果中间人拒绝退还，您可以考虑通过法律途径维护自己的合法权益，比如向法院提起诉讼等。
如有进一步需要，您可以继续咨询我。