针对“违法复议去哪里”的问题，结论前置如下：
- 若违法处罚决定由县级政府部门作出：您可以选择向该部门的上一级主管部门或者该县级人民政府申请行政复议。
- 若违法处罚决定由市级政府部门作出：您则应向该市级部门的上一级主管部门或者该市级人民政府申请行政复议。
详细分析：
在探讨违法复议的申请地点时，我们首先要明确的是，行政复议是公民、法人或其他组织认为行政机关的具体行政行为侵犯其合法权益时，依法向法定的行政复议机关提出复议申请的一种法律救济途径。因此，选择正确的复议机关是确保复议申请得到有效处理的关键。
一、复议机关的选择原则
层级原则：一般来说，您可以选择向作出具体行政行为的行政机关的上一级主管部门申请行政复议。例如，如果违法处罚决定是由县级交警大队作出的，那么您可以向市级公安局交通管理部门提出行政复议申请。
属地原则：除了层级原则外，您还可以选择向作出具体行政行为的行政机关所属的本级人民政府申请行政复议。继续以县级交警大队为例，您也可以向该县级人民政府提出行政复议申请。
二、具体情境下的复议机关选择
县级政府部门作出的违法处罚决定：
- 您可以向该县级部门的上一级主管部门（如市级部门）申请行政复议。
- 同时，您也有权向该县级人民政府申请行政复议。
市级政府部门作出的违法处罚决定：
- 在这种情况下，您应向该市级部门的上一级主管部门（如省级部门或国务院相关部门，具体取决于部门性质）申请行政复议。但通常实践中，对于市级部门的复议，更多会选择向市级人民政府或该部门的直接上级（如省级对应部门）申请，具体需根据部门层级和性质判断。
- 当然，如果市级部门直接受市级人民政府领导，且没有更上一级的专门主管部门，那么向市级人民政府申请行政复议也是合适的。不过，在多数情况下，对于市级专业部门的处罚，如市级城管局，更常见的做法是向其上一级主管部门（如省级住建厅或城管局，如果存在的话）或市级人民政府申请复议，具体需参照地方机构设置和复议规定。为简化说明，此处可概括为：通常可向市级人民政府或该市级部门的上一级主管部门（如果存在且明确）申请复议。
- 简化建议：在实际操作中，为避免混淆，建议先确认作出处罚的市级部门是否有明确的上一级主管部门，如有则优先向该部门申请；若无或不确定，则可直接向市级人民政府申请复议。
特殊情况：
- 如果违法处罚决定是由法律、法规授权的组织作出的，那么复议申请应向直接管理该组织的地方人民政府、地方人民政府工作部门或者国务院部门提出。
三、申请行政复议的注意事项
申请期限：您需要在知道该具体行政行为之日起六十日内提出行政复议申请（除非法律规定的申请期限超过六十日）。这是保障您合法权益的重要时间节点，务必注意遵守。
申请材料：在申请行政复议时，您需要准备一系列相关材料，包括但不限于行政复议申请书、身份证明、证明行政行为存在的证据（如处罚决定书）、阐述申请复议理由和诉求的材料等。这些材料的齐全性和真实性对于复议机关公正裁决至关重要。
后续行动：在提交复议申请后，您应保持与复议机关的沟通渠道畅通，及时了解复议进展和结果。如果复议结果仍不满意，您还可以考虑通过行政诉讼等途径进一步维护自己的合法权益。
四、实际操作建议
- 在收到违法处罚决定后，您应首先仔细阅读决定书的内容，了解处罚的具体事实和法律依据。
- 如果认为处罚存在不当或错误之处，应及时咨询专业法律人士（如我，毛武律师，专注于房产纠纷、拆迁安置、合同纠纷等多个领域）或查阅相关法律法规，明确自己的复议权利和途径。
- 在准备复议材料时，务必确保所有材料的真实性和完整性，避免遗漏或虚假陈述导致复议失败。
希望以上分析能对您有所帮助。如果您在违法复议方面还有其他问题或需要进一步的法律帮助，请随时向我咨询。