违规招牌的管理单位主要取决于招牌的设置位置和违规性质，一般由城市管理部门（如城管局）或市场监督管理部门负责管理。以下从不同角度进行详细分析：
城市管理部门（城管局）：
- 管理范围：城市管理部门通常负责城市市容市貌的管理，包括户外广告、招牌的设置和规范。如果招牌的设置违反了城市市容管理规定，如尺寸过大、位置不当、影响市容等，那么城市管理部门有权进行管理和处罚。
- 法律依据：根据《城市市容和环境卫生管理条例》等相关法规，城市管理部门有权对违规设置的招牌进行查处，包括责令限期改正、罚款等措施。
市场监督管理部门：
- 管理范围：市场监督管理部门主要负责市场秩序的监管，包括广告内容的合法性审查。如果招牌上的广告内容违反了广告法等相关规定，如虚假宣传、误导消费者等，那么市场监督管理部门有权进行管理和处罚。
- 法律依据：根据《中华人民共和国广告法》等相关法规，市场监督管理部门有权对违规广告进行查处，包括责令停止发布广告、罚款等措施。
其他可能的管理单位：
- 规划部门：如果招牌的设置违反了城市规划要求，如未经批准擅自设置、超出规划范围等，那么规划部门也可能介入管理。
- 消防部门：如果招牌的设置存在消防安全隐患，如遮挡消防设施、影响疏散通道等，那么消防部门也有权进行管理和处罚。
在实际操作中，如何确定具体的管理单位：
- 观察违规性质：首先观察招牌的违规性质，是市容市貌问题、广告内容问题还是其他问题。
- 咨询相关部门：如果不确定具体的管理单位，可以咨询当地的城市管理部门、市场监督管理部门或其他相关部门，他们通常会提供明确的指导。
- 查看相关法规：也可以查阅相关的城市管理、广告管理、城市规划等法规，了解招牌设置的具体要求和违规处罚措施。
建议：
- 如果您发现违规招牌，可以先尝试与招牌设置者沟通，要求其自行整改。
- 如果沟通无果或违规情况严重，可以向当地的城市管理部门或市场监督管理部门举报，他们会依法进行处理。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。