临时用地违法，一般由县级以上人民政府自然资源主管部门负责处罚。以下是对这一问题的详细分析：
一、法律依据
根据《中华人民共和国土地管理法》的相关规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地。对于违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状；对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款。此外，如果非法占用土地的行为构成犯罪，还将依法追究刑事责任。
二、处罚主体
县级以上人民政府自然资源主管部门：这是主要的处罚主体，负责查处非法占用土地的行为，包括临时用地违法的情况。他们有权对违法行为进行调查、取证，并依法作出处罚决定。
其他相关部门：在特定情况下，如涉及农村土地或宅基地的违法使用，可能还需要农业农村部门、乡镇人民政府等部门的配合或参与。但一般来说，这些部门在临时用地违法处罚中主要起辅助作用，而非主要处罚主体。
三、处罚措施
对于临时用地违法的处罚措施，主要包括：
责令退还非法占用的土地：这是最基本的处罚措施，要求违法行为人将非法占用的土地退还给原土地所有者或使用者。
限期拆除或没收建筑物和设施：如果非法占用的土地上建有建筑物或其他设施，且这些建筑物或设施违反了土地利用总体规划，那么处罚机关将责令限期拆除；如果符合土地利用总体规划，则可能没收这些建筑物和设施。
罚款：除了上述处罚措施外，处罚机关还可以根据违法行为的情节和后果，对违法行为人处以罚款。
四、特殊情况
农村土地和宅基地：如果临时用地违法涉及农村土地或宅基地，那么情况可能更为复杂。因为农村土地和宅基地的使用受到更为严格的法律限制和保护。在这种情况下，除了自然资源主管部门的处罚外，还可能涉及农业农村部门、乡镇人民政府等部门的介入和协调。
构成犯罪的情况：如果临时用地违法的行为构成犯罪，如非法占用农用地罪等，那么将依法追究刑事责任。此时，处罚机关将不再是自然资源主管部门，而是司法机关（如法院、检察院等）。
五、建议
如果您或您身边的人遇到了临时用地违法的问题，建议及时咨询专业律师（即我，王家旭律师，专注于房产纠纷等领域），以便更好地了解自己的权利和义务，并采取合适的法律措施来维护自己的合法权益。同时，也请务必遵守相关法律法规，避免违法行为的发生。