留置后借款能否退回需分情况讨论，具体取决于留置的合法性、留置权行使是否符合法定程序以及借款与留置物之间的法律关系。以下分情况详细说明：

1. 若留置行为合法且符合法定程序
   根据《中华人民共和国民法典》第四百四十七条至第四百五十七条，留置权是法定担保物权，债权人因合法债权占有债务人动产，且债权已到期、留置物与债权属于同一法律关系时，可依法行使留置权。此时：

   • 若借款与留置物存在直接关联（如借款用于购买留置物，或留置物是借款的担保物），且债权人已通过合法程序（如催告、通知等）行使留置权，债务人未履行债务的，债权人可通过折价、拍卖或变卖留置物优先受偿。若留置物价值超过债权，超出部分应退还债务人；若不足，债务人仍需补足差额。
     
   • 若借款与留置物无直接关联（如借款用于其他用途，留置物是债务人其他财产），债权人留置行为可能因违反“同一法律关系”原则而被认定违法，债务人可要求返还留置物，并主张退回借款（若借款已被错误扣划）。

2. 若留置行为违法或程序瑕疵

   • 非法留置：若债权人无合法债权、留置物不属于债务人所有，或留置行为违反公序良俗（如留置生活必需品），债务人可依据《民法典》第四百四十八条主张留置权无效，要求返还留置物及退回借款（若借款被非法扣留）。
     
   • 程序瑕疵：若债权人未履行催告义务、未通知债务人留置事宜，或留置期限超过法定限制（如未在合理期限内行使权利），债务人可主张债权人丧失留置权，要求返还留置物及借款。

3. 特殊情形：留置物与借款的混合处理

   • 若留置物是借款的担保物（如抵押物、质押物），且债权人同时主张留置权与担保物权，需根据《民法典》第三百九十二条（混合担保规则）确定清偿顺序。此时借款能否退回取决于担保物价值与债权的比例关系，以及债权人是否优先行使留置权。
     
   • 若留置物涉及第三人权益（如债务人将第三人财产留置），第三人可依据《民法典》第四百六十二条主张返还原物，债务人需另行解决借款纠纷。

行动建议：

• 若您是债务人，首先核实留置行为的合法性（如债权是否真实、留置物是否属于您所有、程序是否合规），收集证据（如合同、催告通知、留置物清单等），通过协商或诉讼主张权利。
  
• 若您是债权人，需严格遵守留置权行使条件（如债权到期、同一法律关系、合理期限等），避免因程序瑕疵导致权利丧失。
  

提示：留置权纠纷涉及物权法与合同法交叉领域，具体案件需结合证据和细节分析。如有进一步疑问，可直接向我咨询具体法律问题。