违建交罚款主要由县级以上地方人民政府城乡规划主管部门负责。具体分析如下：

一. 负责部门

• 根据《中华人民共和国城乡规划法》第六十四条，对于未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的行为，由县级以上地方人民政府城乡规划主管部门责令停止建设，并可处以罚款。这意味着，违建交罚款的主要负责部门是县级以上地方人民政府城乡规划主管部门。

二. 罚款情况

• 尚可采取改正措施消除对规划实施的影响的，限期改正，并处建设工程造价百分之五以上百分之十以下的罚款。
• 无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，并可以并处建设工程造价百分之十以下的罚款。

三. 特殊情况

• 如果是在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，根据《中华人民共和国城乡规划法》第六十五条，则由乡、镇人民政府责令停止建设、限期改正，并可能涉及拆除，但不直接涉及罚款的收取。

综上所述，违建交罚款主要由县级以上地方人民政府城乡规划主管部门负责。如果您收到了违建罚款的通知，建议您及时与该部门联系，了解具体的缴费流程和要求。如有进一步需要，您可以继续咨询我。