公职人员退回借贷利息后，如果其借贷行为本身存在违法问题，仍然可能会受到查处。具体分析如下：

1. 利息的合法性：

   • 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，私人借贷利息的合法上限为合同成立时一年期贷款市场报价利率的四倍。超出这一部分的利息，法律不予保护，借款人可以拒付。
   • 如果公职人员支付的利息超过了这一合法上限，那么超出部分的利息支付可能涉及不当得利或高利贷等违法问题。即使后来退回了这部分利息，其之前的支付行为仍然可能被视为违法。

2. 公职人员的身份：

   • 公职人员作为国家的公职人员，其行为受到更严格的监督。如果其借贷行为涉及违法问题，如高利贷、贪污受贿等，那么即使退回了利息，也可能因为其行为本身违法而受到查处。

3. 查处的可能性：

   • 退回利息并不能消除其之前的违法行为。如果借贷行为本身存在违法问题，相关部门仍然有权进行查处。
   • 查处可能会涉及公职人员的职务行为、廉洁纪律等方面，甚至可能导致其职务的丧失或受到其他纪律处分。

综上所述，公职人员退回借贷利息后，并不能完全避免被查处。如果其借贷行为本身存在违法问题，仍然可能会受到相关部门的查处。因此，公职人员在借贷时应严格遵守法律法规，确保借贷行为的合法性。如果你在这方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。