违法发包、转包、违法分包、挂靠等行为的查处主要由各地住房城乡建设主管部门负责。

具体来说，根据住房城乡建设部办公厅关于建筑工程施工转包违法分包等违法违规行为查处情况的通报，各地住房城乡建设主管部门会定期开展排查工作，对存在违法违规行为的项目、建设单位、施工企业以及个人进行查处。查处措施包括但不限于停业整顿、限制投标资格、责令停止执业、没收违法所得、罚款等。

因此，如果你发现身边存在违法发包、转包、违法分包、挂靠等建筑市场违法违规行为，可以向当地的住房城乡建设主管部门进行举报，他们会依法依规进行查处。