针对您与“小三”签订了退还部分借款协议的情况，我的结论是：该协议的法律效力及后续处理需根据协议内容、签订背景及双方行为综合判断，以下从多个角度为您详细分析：
一、协议的法律效力
协议内容合法性：
- 若协议内容系双方真实意思表示，且不违反法律、行政法规的强制性规定（如不涉及非法债务、不损害国家、集体或第三人利益等），则该协议具有法律效力。
- 例如，若协议中明确约定了退还借款的金额、时间、方式等，且这些条款均合法合规，那么该协议对双方均具有约束力。
签订背景与目的：
- 协议签订的背景和目的也是判断其法律效力的关键因素。若协议是在双方自愿、平等的基础上签订，且目的是为了解决借款纠纷，那么其法律效力通常得到认可。
- 反之，若协议是在胁迫、欺诈等不正当手段下签订，或者目的违法（如为了逃避债务、转移财产等），则该协议可能被认定为无效或可撤销。
二、协议履行与违约处理
协议履行：
- 若协议具有法律效力，双方应按照协议约定履行各自义务。若一方未按约定履行，则构成违约，应承担相应的违约责任。
- 例如，若协议约定了退还借款的时间，但一方未按期退还，则另一方有权要求其继续履行或承担违约责任。
违约处理：
- 在违约情况下，守约方可以采取多种措施维护自身权益，如要求违约方继续履行、赔偿损失、支付违约金等。
- 若双方无法协商解决，守约方可以向法院提起诉讼，要求法院判决违约方承担相应责任。
三、特殊情况与注意事项
涉及婚姻家庭关系：
- 若该借款与婚姻家庭关系有关（如借款用于夫妻共同生活、一方擅自处分夫妻共同财产等），则可能涉及夫妻共同债务的认定、财产分割等问题。
- 在这种情况下，协议的法律效力及履行可能受到婚姻家庭法律关系的制约和影响。
证据收集与保存：
- 在签订和履行协议过程中，双方应妥善保存相关证据（如协议文本、转账记录、聊天记录等），以便在发生纠纷时能够证明自己的主张。
- 证据的充分性和完整性对于维护自身权益至关重要。
法律咨询与诉讼：
- 若您对协议的法律效力、履行或违约处理存在疑问或争议，建议及时咨询专业律师，以便获得针对性的法律建议和帮助。
- 在必要时，您可以向法院提起诉讼，通过法律途径解决纠纷。
针对您的情况，我建议您：
- 首先仔细审查协议内容，确保其合法合规且符合双方真实意思表示；
- 若协议具有法律效力，则按照协议约定履行各自义务；
- 若一方未按约定履行或发生争议，及时收集证据并咨询专业律师；
- 在必要时，通过法律途径维护自身权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。