已经给买家退赔的款项是否还算入违法所得，需根据具体情况来判断。以下从不同角度为您详细分析：
一、若款项是在违法行为进行期间获得，即便之后进行了退款，通常仍会被计入违法所得
在某些情况下，如诈骗案件中，诈骗者起初通过欺骗手段获得了财物，之后因某些原因（如被察觉、压力等）进行了退款。然而，从法律层面来看，该款项依旧属于违法所得的一部分。这是因为诈骗行为已经完成，退款行为并不能改变款项最初取得时的违法性质。同理，在货物买卖合同纠纷中，如果卖家通过欺诈等违法手段获得了货款，即便之后进行了退赔，该款项在判定违法所得时通常还是会被计入。
二、若因合法缘由进行退赔，如商品存在质量问题、合同被解除等正常的商业操作，则不属于违法所得的范畴
在合法的商业交易中，如果因为商品存在质量问题、合同被解除等合理原因而进行了退赔，那么这类退赔的款项不能被称作违法所得。因为这些退赔行为是基于合法的合同关系或消费者权益保护而进行的，与违法行为无关。例如，在货物买卖合同中，如果买家发现商品存在严重质量问题，要求卖家退货并退款，卖家按照合同约定或法律规定进行了退赔，那么这部分退赔的款项就不属于违法所得。
三、违法所得的认定主要在于款项的取得是否基于违法的行为或活动
从法律层面来看，违法所得的认定关键在于款项的取得是否基于违法的行为或活动。退款行为本身并不能必然改变款项最初取得时的性质界定。因此，在判断是否为违法所得时，不能仅仅依据是否退赔，而应当依据获取款项的初始行为是否合法来确定。
四、退赔违法所得可作为一种从轻处罚的情形加以考量，但不会改变其违法所得的本质
在行政处罚或刑事处罚中，如果当事人主动退赔了违法所得，这通常可以作为从轻处罚的情形加以考量。然而，这并不会改变违法所得的本质属性。也就是说，即便当事人退赔了违法所得，该款项在法律上仍然被视为违法所得，只是在处罚时可能会考虑其退赔情节而给予从轻处理。
建议：
如果您在货物买卖合同纠纷中遇到退赔问题或对违法所得的认定有疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见。