结论：律师通知家人退非法所得五六万，而实际诈骗金额为两三万，这种情况可能涉及多个方面，包括但不限于非法所得的计算方式、共同犯罪中的责任划分、以及可能存在的其他违法所得等。下面我将从这几个角度为你详细分析。
非法所得的计算方式：
- 在金融诈骗案件中，非法所得的计算并不仅仅局限于直接诈骗的金额。它可能还包括因诈骗行为而产生的利息、手续费、违约金等其他收益。因此，如果诈骗行为产生了额外的收益，那么非法所得的总额就会超过直接诈骗的金额。
- 例如，如果你诈骗了两三万，但在这笔钱的基础上，你还通过非法手段获取了额外的利息或手续费，那么这些额外的收益也会被计入非法所得中，从而导致需要退还的金额超过诈骗金额。
共同犯罪中的责任划分：
- 如果你与他人共同实施了诈骗行为，那么你们可能需要共同承担退还非法所得的责任。在这种情况下，即使你个人只诈骗了两三万，但如果整个团伙的非法所得总额更高，你也可能需要按照比例或共同责任来退还更多的金额。
- 例如，如果你与他人共同诈骗，你个人分得了两三万，但整个团伙的非法所得总额为五六万，那么你可能需要按照你在团伙中的份额或共同责任来退还相应的金额。
可能存在的其他违法所得：
- 除了直接诈骗的金额和因诈骗行为产生的额外收益外，你还可能因其他违法行为而获取了非法所得。这些违法所得也可能需要被退还。
- 例如，如果你在诈骗过程中使用了非法手段获取了他人的个人信息或财产信息，并因此获取了额外的利益，那么这些利益也可能被视为非法所得，需要被退还。
法律建议：
- 如果你对律师通知的退还金额有疑问，建议你首先与律师进行详细沟通，了解非法所得的具体计算方式和依据。
- 同时，你也可以要求律师提供相关的证据和法律依据，以确保退还金额的合理性和合法性。
- 如果你认为退还金额存在争议或不合理，你可以考虑寻求第二法律意见或咨询其他专业律师，以维护自己的合法权益。
可能后果：
- 如果你不按照律师或法院的要求退还非法所得，可能会面临法律制裁，包括但不限于罚款、没收财产、甚至刑事责任等。
- 因此，我建议你积极配合律师和法院的工作，按照要求退还非法所得，以避免不必要的法律风险和后果。
如果你有任何进一步的疑问或需要法律帮助，请随时向我咨询。