结论：是否需要退还，取决于合同的具体约定以及实际履行情况，包括借支的性质、工程款的支付条件等。以下分情况详细说明：

一、借支性质为预付款或进度款

1. 若合同明确约定借支为预付款或进度款：

   • 在这种情况下，借支的6万通常被视为工程款的一部分，用于提前支付或按进度支付。
   • 当后续又支付了5万时，需核对合同总价及已支付款项，以确定是否已达到或超过合同约定的支付比例。
   • 若已支付款项未超过合同总价：则无需退还，因为借支和后续支付均属于合同约定的支付范畴。
   • 若已支付款项超过合同总价：则超出部分可能需要退还，或根据合同约定进行其他处理（如抵扣后续工程款、作为违约金等）。

2. 若合同未明确约定借支性质，但根据交易习惯或双方口头约定可推断为预付款或进度款：

   • 同样需核对合同总价及已支付款项，以确定是否需要退还。
   • 这种情况下，双方可能需要根据实际履行情况、交易习惯或公平原则进行协商处理。

二、借支性质为借款

1. 若合同明确约定借支为借款：

   • 在这种情况下，借支的6万被视为借款，与工程款无关。
   • 当后续支付5万工程款时，这5万是独立的支付行为，与借款无关。
   • 若工程款已全部支付完毕，且借款未偿还：则借款人（即接收借支的一方）需要按照合同约定偿还借款6万。
   • 若工程款未支付完毕，且双方同意用借款抵扣工程款：则可能无需单独偿还借款，但需确保抵扣后的工程款支付符合合同约定。

2. 若合同未明确约定借支性质为借款，但根据实际情况可推断为借款：

   • 这种情况下，双方可能需要根据实际履行情况、双方意图或公平原则进行协商处理。
   • 若双方无法达成一致，可能需要通过法律途径解决争议。

三、其他考虑因素

• 合同变更或补充协议：若双方在合同履行过程中签订了变更或补充协议，对借支性质、支付条件等进行了重新约定，则应以变更或补充协议为准。
• 实际履行情况：除了合同约定外，实际履行情况也是判断是否需要退还的重要因素。例如，若实际工程量与合同约定不符，可能导致工程款支付比例的调整。
• 法律原则：在处理此类纠纷时，还需遵循诚实信用、公平合理等法律原则，确保双方权益得到妥善保护。

建议：由于合同纠纷涉及的具体情况复杂多样，且法律条款的适用需结合具体案情进行判断。因此，在处理此类问题时，建议直接向我咨询，提供详细的合同条款、履行情况及相关证据材料，以便我能给出更具体、更准确的法律建议。