针对“违规占用土地处罚过后是谁收回或者退还给谁”的问题，我们可以从以下几个方面进行分析和回答：
结论前置
违规占用土地被处罚后，土地的收回或退还通常依据具体情况和法律法规来决定，可能由县级以上人民政府自然资源主管部门收回，也可能需要退还给原土地使用者或权利人。
具体分析
土地收回的主体：
- 根据《中华人民共和国土地管理法》及相关法律法规，违规占用土地被查处后，县级以上人民政府自然资源主管部门有权责令限期改正、治理，并可以并处罚款。若构成犯罪，还将依法追究刑事责任。在这种情况下，如果土地需要被收回，通常是由县级以上人民政府自然资源主管部门来执行。
土地退还的情况：
- 如果违规占用的土地原本属于某个特定的土地使用者或权利人，并且该使用者或权利人并未参与违规占用行为，那么在处罚过后，土地可能需要退还给原土地使用者或权利人。这通常发生在土地被非法侵占或误占的情况下。
特殊情况的考虑：
- 在某些特殊情况下，如土地已被严重破坏或改变用途，无法恢复原状，那么收回的土地可能会根据规划需要进行重新利用或整治。此时，土地的后续利用将遵循相关法律法规和规划要求。
法律建议
- 对于违规占用土地的行为，建议相关当事人及时停止违法行为，并主动向县级以上人民政府自然资源主管部门报告，以便依法处理。
- 如果土地使用者或权利人发现自己的土地被违规占用，应及时向相关部门举报，并寻求法律援助以保护自己的合法权益。
综上所述，违规占用土地处罚过后的收回或退还问题，需要根据具体情况和法律法规来决定。如果您面临此类问题，建议咨询当地自然资源主管部门或专业律师以获取更准确的法律意见。