原配不能直接起诉“破鞋”（即与配偶有不正当关系的人）要求退钱。以下从不同角度进行分析：

1. 法律关系角度：

   • 在法律上，原配与“破鞋”之间通常不存在直接的合同关系或侵权关系。原配的配偶与“破鞋”之间的金钱往来，如果属于自愿赠与或借贷等民事行为，且没有违反法律强制性规定或公序良俗（但出轨行为本身违反公序良俗，不过此点不直接决定赠与或借贷行为的法律效力），则原配一般不能直接要求“破鞋”退钱。
   • 如果原配的配偶将夫妻共同财产擅自赠与“破鞋”，且该赠与行为未经原配同意，原配可以基于夫妻共同财产的共有权，起诉要求确认赠与行为无效，并追回财产。但此时被告是原配的配偶和“破鞋”双方，且法律关系是基于夫妻共同财产的共有权，而非原配与“破鞋”之间的直接法律关系。

2. 道德与法律区别角度：

   • 出轨行为虽然违反道德，但并不直接构成法律上的侵权或违约。因此，原配不能仅凭道德上的谴责来要求“破鞋”退钱。
   • 法律是维护社会秩序和公平正义的底线，而道德是更高层次的行为规范。在处理此类问题时，需要区分道德和法律的不同范畴。

3. 实际操作角度：

   • 即使原配认为配偶与“破鞋”之间的金钱往来不合理，也需要通过合法途径来维护自己的权益。例如，可以收集证据证明配偶擅自处分了夫妻共同财产，然后通过诉讼等方式来追回财产。
   • 在实际操作中，原配需要谨慎处理此类问题，避免采取过激行为或侵犯他人合法权益。

建议：

• 如果原配发现配偶与“破鞋”之间存在不正当的金钱往来，且怀疑该行为侵犯了自己的合法权益（如擅自处分了夫妻共同财产），建议先收集相关证据（如转账记录、聊天记录等）。
• 然后咨询专业律师，了解自己的法律权益和可行的维权途径。律师会根据具体情况提供法律建议，并帮助原配制定合适的维权策略。

可能后果：

• 如果原配未经合法途径擅自要求“破鞋”退钱，可能会引发不必要的纠纷和冲突，甚至可能触犯法律（如侵犯他人财产权、隐私权等）。
• 通过合法途径维权，虽然可能需要一定的时间和精力，但能够更有效地保护自己的合法权益，并避免不必要的法律风险。