结论：高利贷的出借人一般没有资格直接收走你的房子。是否会被收走房子，取决于多个因素，包括借款合同的具体条款、是否涉及非法高利贷、是否经过合法程序等。下面我将从多个角度为你详细分析。
一、高利贷的合法性
法律对高利贷的界定：
- 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，超出部分的利息不受法律保护。这意味着，如果借款利率超过了法定上限，那么超出部分的利息是不被法律认可的。
非法高利贷的后果：
- 如果出借人以高利贷的形式出借资金，并且利率超过了法定上限，那么这部分超出利息的约定是无效的。出借人不能通过非法手段（如威胁、恐吓、非法拘禁等）来追讨超出部分的利息或本金。
二、房产作为抵押物的处理
合法抵押的情况：
- 如果在借款时，你自愿将房产作为抵押物，并且签订了合法的抵押合同，同时办理了抵押登记手续，那么出借人在你无法按时还款时，有权通过法律途径（如诉讼、拍卖等）来处置抵押物以收回借款。但即便如此，出借人也必须遵循法律程序，不能私自收走你的房子。
非法抵押或无效抵押的情况：
- 如果抵押合同存在欺诈、胁迫等非法情形，或者抵押物本身存在权属争议、被查封等限制转让的情况，那么抵押合同可能是无效的。在这种情况下，出借人无权通过处置抵押物来收回借款。
三、出借人收走房子的合法程序
诉讼程序：
- 如果出借人想要通过法律途径来处置你的房产，他必须首先向法院提起诉讼，要求你偿还借款。在法院判决你偿还借款后，如果仍然无法履行还款义务，出借人可以申请法院强制执行你的财产，包括房产。但这个过程必须遵循法律程序，不能私自进行。
拍卖程序：
- 在法院强制执行的过程中，如果房产被作为执行标的，那么法院会依法进行拍卖。拍卖所得款项将用于偿还你的借款和可能产生的诉讼费用、执行费用等。如果拍卖所得款项不足以偿还全部债务，你仍然需要承担剩余债务的偿还责任。
四、你的权益保护
核实借款合同：
- 你应该仔细核实借款合同的内容，特别是关于利率、抵押物、还款期限等关键条款。如果发现合同存在不合法或不合理之处，你可以及时寻求法律帮助。
保留证据：
- 在与出借人交往的过程中，你应该保留好所有相关的证据，如借款合同、转账记录、聊天记录等。这些证据在后续的法律纠纷中可能会起到关键作用。
寻求法律帮助：
- 如果你面临高利贷的威胁或骚扰，或者出借人试图私自收走你的房子，你应该及时寻求法律帮助。你可以向我咨询相关法律问题，我会根据你的具体情况为你提供专业的法律建议。
最后，我想强调的是，无论面临什么情况，你都应该保持冷静和理智。不要因为一时的困境而做出冲动的决定。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。