结论：中介无故让您搬走并更改房屋密码的行为，很可能是违法的。具体是否违法，需结合您与中介之间的合同关系、中介行为的具体情节以及相关法律法规来综合判断。以下从多个角度为您详细分析：
一、从合同关系角度分析
租赁合同关系：
- 如果您与中介之间签订了房屋租赁合同，且合同中明确规定了租赁期限、租金支付方式、双方权利义务等条款，那么中介在租赁期限内无故要求您搬走并更改密码，显然违反了合同约定。
- 根据《中华人民共和国民法典》的相关规定，当事人应当按照约定全面履行自己的义务。中介的行为构成违约，您有权要求中介继续履行合同、赔偿损失或解除合同并要求赔偿。
委托合同关系（如适用）：
- 如果您与中介之间签订的是委托合同，委托中介代为出租或管理房屋，那么中介的行为需受委托合同的约束。
- 若中介未经您同意擅自更改房屋密码并要求租客搬走，可能构成对委托事项的擅自变更或超越权限处理，您有权要求中介承担违约责任。
二、从侵权行为角度分析
侵犯居住权：
- 无论您与中介之间是租赁合同关系还是委托合同关系，中介都无权擅自更改房屋密码并阻止您或合法租客进入房屋。
- 这种行为可能侵犯了您或租客的居住权，您有权要求中介停止侵害、恢复原状并赔偿损失。
侵犯财产权：
- 如果中介更改密码的行为导致您无法正常使用房屋或造成其他财产损失，如屋内物品丢失、损坏等，中介还可能构成对您的财产权的侵犯。
- 您有权要求中介赔偿因此造成的直接和间接损失。
三、从行政处罚角度分析
- 如果中介的行为违反了相关行政管理规定，如未经许可擅自进入他人住宅、扰乱社会秩序等，还可能面临行政处罚。
- 您有权向相关部门投诉举报中介的违法行为，要求相关部门对中介进行查处。
四、建议与措施
收集证据：
- 保留与中介的沟通记录、租赁合同或委托合同、房屋密码更改通知等相关证据。
- 如有必要，可以拍摄现场照片或视频作为证据。
与中介协商：
- 尝试与中介进行友好协商，明确表达您的诉求和立场。
- 要求中介立即停止违法行为并恢复原状。
寻求法律帮助：
- 如果协商无果，您可以向我咨询具体的法律途径和维权策略。
- 必要时，您可以向法院提起诉讼或向相关部门投诉举报中介的违法行为。
最后，中介无故让您搬走并更改房屋密码的行为很可能构成违法。您有权根据具体情况采取相应的法律措施来维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。