借款退赃是否算夫妻共同债务，需根据具体情况来判断，不能一概而论。以下从不同角度进行分析：
一、若借款用于退赃且另一方不知情或未受益
法律背景：
- 根据《中华人民共和国民法典》第一千零六十四条，夫妻双方共同签名或者夫妻一方事后追认等共同意思表示所负的债务，以及夫妻一方在婚姻关系存续期间以个人名义为家庭日常生活需要所负的债务，属于夫妻共同债务。
- 若借款并非用于家庭日常生活需要，且另一方不知情或未从中受益，则该债务通常不被认定为夫妻共同债务。
分析：
- 如果借款是用于退赃，且这一行为是个人行为，另一方并不知情，也没有从退赃行为中受益，那么这笔借款通常不会被视为夫妻共同债务。
- 例如，一方因个人违法行为被罚款或需退赃，而另一方对此完全不知情，且没有使用或受益于这笔款项，那么借款退赃就不应算作夫妻共同债务。
二、若借款用于退赃且另一方知情或受益
法律背景：
- 同样依据《中华人民共和国民法典》第一千零六十四条，如果夫妻一方以个人名义为家庭日常生活需要所负的债务，或者另一方事后追认的债务，属于夫妻共同债务。
分析：
- 如果借款用于退赃，且另一方知情或从中受益（例如，退赃后避免了更大的家庭损失或法律责任），那么这笔借款有可能被视为夫妻共同债务。
- 在这种情况下，即使借款是以一方的名义借的，但由于另一方知情或受益，法院可能会根据具体情况判断该债务是否应由夫妻双方共同承担。
三、特殊情况：借款用于退赃但涉及非法活动
法律背景：
- 如果借款用于退赃，但退赃行为本身涉及非法活动（如贪污、受贿等），那么该借款可能不受法律保护，且可能引发更复杂的法律问题。
分析：
- 在这种情况下，即使另一方知情或受益，由于借款用途的非法性，该债务也可能不被认定为夫妻共同债务，甚至可能涉及刑事责任。
- 因此，在处理此类问题时，应特别谨慎，并寻求专业法律帮助。
法律建议
保留证据：
- 如果涉及借款退赃的问题，应尽可能保留相关证据，如借款合同、转账记录、退赃证明等，以便在需要时证明债务的性质和用途。
咨询专业律师：
- 由于此类问题涉及复杂的法律关系和事实认定，建议咨询专业律师以获取更具体的法律建议。
积极沟通：
- 如果夫妻双方对借款退赃的问题存在争议，应积极沟通并寻求共识，以避免不必要的法律纠纷。
总结来说，借款退赃是否算夫妻共同债务取决于多种因素，包括借款用途、另一方是否知情或受益以及是否涉及非法活动等。在处理此类问题时，应综合考虑各种因素，并寻求专业法律帮助以确保自身权益。如果你有具体的法律问题或需要进一步的法律建议，请直接向我咨询。