电动自行车违法改装主要由市场监管部门和交管部门联合管理。

具体来说，市场监管部门主要负责电动自行车及相关产品生产、销售环节的产品质量监管，对生产、销售不符合国家相关标准的电动自行车及相关产品的违法行为进行查处。例如，在电动自行车销售、维修环节，市场监管部门会核查经营主体资质、产品合格证明等，严查经营单位是否存在擅自改装原厂电气配件、拆改限速装置、外设蓄电池托架、改造蓄电池槽盒、更换大容量蓄电池等非法改装行为。

而交管部门则主要负责道路交通安全管理，对电动自行车在道路上行驶过程中的违法行为进行查处，包括非法改装后的电动自行车上路行驶等。

因此，如果发现有电动自行车违法改装的行为，可以向当地的市场监管部门或交管部门进行举报。他们会根据相关法律法规进行查处，以保障电动自行车市场秩序和道路交通安全。