结论：被判缓判期间和到现在一直上班，单位要开除您时，是否需要退回工资，这主要取决于单位开除您的具体理由以及您与单位之间的劳动合同或相关规章制度的规定。以下从不同角度进行分析：
一、若单位开除理由合法合规
依据劳动合同或规章制度：
- 如果单位依据合法有效的劳动合同或规章制度，因您存在严重违反单位规定、失职、营私舞弊等行为而开除您，且这些行为与您领取工资无直接关联（即您已提供了正常劳动），那么单位通常无权要求您退回已领取的工资。
- 工资是您提供劳动后应得的报酬，只要您提供了劳动，单位就应支付工资，除非双方有特别约定或法律另有规定。
法律依据：
- 根据《中华人民共和国劳动法》第五十条：“工资应当以货币形式按月支付给劳动者本人。不得克扣或者无故拖欠劳动者的工资。”
- 若单位违法解除劳动合同，您还有权要求单位支付赔偿金，而非退回工资。
二、若单位开除理由涉及违法或不当得利
违法解除劳动合同：
- 如果单位无正当理由或违法解除劳动合同，您不仅无需退回工资，还可以要求单位支付经济补偿金或赔偿金。
- 经济补偿金的标准通常根据您在单位的工作年限和月工资来确定。
不当得利：
- 在极少数情况下，如果单位能证明您因某种原因（如欺诈、隐瞒等）获得了不应得的工资，且这种获得与您的劳动无关，单位可能会主张您退回部分或全部工资。但这种情况需要单位提供充分的证据来支持其主张。
- 然而，在被判缓判期间，只要您正常提供了劳动，且没有违反单位规定或法律的行为，单位通常难以证明您存在不当得利。
三、特殊情况考虑
- 缓刑期间的特殊规定：
- 缓刑本身并不直接影响您与单位之间的劳动关系。只要您遵守缓刑期间的监管规定，且没有违反单位规章制度或法律的行为，单位通常无权因您被判缓刑而开除您或要求退回工资。
- 但如果单位在劳动合同或规章制度中明确规定了因犯罪被判刑（包括缓刑）将作为解除劳动合同的条件，且该规定不违反法律强制性规定，那么单位可能有权开除您。但即便如此，单位也无权要求您退回已领取的工资（除非存在上述不当得利的情况）。
建议
- 与单位沟通：首先尝试与单位进行沟通，了解开除的具体原因和依据，以及单位是否要求退回工资。
- 寻求法律援助：如果单位的行为涉嫌违法或不当，您可以咨询专业律师（如我），了解您的权益和可能的法律途径。
- 保留证据：无论结果如何，都建议您保留好与单位之间的沟通记录、劳动合同、工资单等证据，以备不时之需。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。