结论：如果房子之前抵押给高利贷者且钱已还清，在正常情况下，只要抵押权已经依法解除，后续通常不会产生直接影响。但需注意抵押解除手续是否完备、是否存在潜在纠纷或遗留问题，以及是否涉及其他法律风险。以下从不同角度详细分析：

一、抵押权解除后的法律状态

1. 抵押权消灭：

   • 根据《中华人民共和国民法典》的相关规定，债务人履行债务或者发生当事人约定的实现抵押权的情形，抵押权即消灭。因此，一旦你还清了高利贷的借款，且抵押合同中没有其他特别约定，抵押权应当随之消灭。

2. 抵押权解除手续：

   • 抵押权消灭后，应当办理抵押权的注销登记手续。这是确保抵押权彻底解除、避免后续纠纷的重要步骤。如果未办理注销登记，虽然抵押权在法律上已消灭，但可能在实践中产生一些不必要的麻烦，如影响房屋的再次抵押或交易。

二、潜在纠纷或遗留问题

1. 抵押合同条款：

   • 仔细审查之前的抵押合同，确认是否有关于抵押权解除后的特殊约定，如是否需要支付额外费用、是否需要办理特定手续等。如果合同中有此类约定，且你未履行，可能面临违约责任。

2. 高利贷者的行为：

   • 尽管你还清了借款，但仍需警惕高利贷者可能采取的不当行为，如非法扣押房屋证件、骚扰等。如果遇到此类情况，应及时报警并寻求法律帮助。

3. 其他债权人或利益相关方：

   • 如果房屋上还存在其他抵押权或债权，或者涉及其他利益相关方（如共同共有人、继承人等），需确保你的还款和抵押权解除行为不会损害他们的合法权益，否则可能引发纠纷。

三、其他法律风险

1. 高利贷的合法性：

   • 如果之前的高利贷利率超过了法定上限，超出部分的利息可能不受法律保护。虽然这不影响抵押权的解除，但如果你在还款过程中支付了高额利息，可以考虑通过法律途径追回超出部分的利息。

2. 房屋交易或再次抵押：

   • 在抵押权解除后，如果你打算出售房屋或再次抵押，需确保房屋的权属清晰、无纠纷。否则，可能影响房屋的交易价值或再次抵押的可行性。

四、建议措施

1. 办理抵押权注销登记：

   • 尽快与高利贷者协商办理抵押权的注销登记手续，确保抵押权彻底解除。

2. 保留还款证据：

   • 保留好还款凭证、抵押合同解除协议等相关证据，以备不时之需。

3. 咨询专业律师：

   • 如果你对抵押权解除后的法律状态或潜在风险存在疑虑，可以直接向我咨询，我会根据你的具体情况提供针对性的法律建议。

总结：房子抵押给高利贷者且钱已还清后，只要抵押权已经依法解除且手续完备，后续通常不会产生直接影响。但仍需警惕潜在纠纷或遗留问题，并采取相应的建议措施以确保自身权益。