中间人把约定用途的借款自己留下还债务，属于未按约定使用借款，贷款人可以停止发放借款、提前收回借款、解除合同或要求中间人承担违约责任。

一. 中间人的责任分析

1. 未按约定使用借款：根据《中华人民共和国民法典》第六百七十三条，借款人未按照约定的借款用途使用借款的，贷款人可以停止发放借款、提前收回借款或者解除合同。在此情况下，中间人作为实际使用借款的人，未按照约定的用途使用借款，应承担相应的法律责任。
2. 违约责任：依据《中华人民共和国民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。中间人将借款用于偿还自己的债务，显然违反了与贷款人的约定，因此应承担违约责任。

二. 贷款人的权利

1. 停止发放借款：发现中间人未按约定使用借款后，贷款人有权立即停止后续借款的发放。
2. 提前收回借款：贷款人有权要求中间人提前归还已发放的借款。
3. 解除合同：在严重违约的情况下，贷款人有权解除与中间人的借款合同。
4. 要求赔偿损失：因中间人的违约行为导致贷款人遭受损失的，贷款人有权要求中间人赔偿损失。

三. 实际操作建议

• 与中间人沟通：首先尝试与中间人沟通，了解其将借款用于偿还自己债务的具体原因，并协商解决方案。
• 采取法律措施：如果沟通无果，贷款人应尽快采取法律措施，如提起诉讼或申请仲裁，以维护自己的合法权益。
• 保留证据：在采取任何行动之前，贷款人应确保保留所有与借款、中间人及违约行为相关的证据，以便在后续的法律程序中使用。

我的观点：中间人将约定用途的借款自己留下还债务，明显违反了与贷款人的约定，应承担相应的法律责任。贷款人应根据具体情况，采取相应的法律措施来维护自己的权益。如有进一步需要，您可以继续咨询我。