组织残障人员到砖厂工作是否违法，不能一概而论，需结合具体情况判断。以下从不同角度进行分析：

1. 合法雇佣残障人员的情况

• 平等就业权保障：根据《残疾人保障法》，残障人士享有平等就业和获得报酬的权利。若砖厂依法与残障人员签订劳动合同，提供符合其身体状况的工作岗位（如轻体力劳动），并支付合理报酬，同时遵守劳动法关于工作时间、休息休假、劳动安全等规定，则属于合法用工。
• 合理便利支持：若砖厂为残障员工提供必要的辅助设施或调整工作方式（如无障碍环境、简化操作流程），以保障其顺利完成工作，亦符合法律规定。

2. 违法雇佣残障人员的情况

• 强迫劳动罪：若砖厂通过暴力、威胁或限制人身自由的方式强迫残障人员劳动，或令其承受超过人体极限的工作量（如长时间高强度作业），则构成《刑法》第二百四十四条规定的“强迫劳动罪”，需依法追究刑事责任。
• 非法用工与歧视：若砖厂未与残障人员签订劳动合同，未缴纳社会保险，或以“施舍”心态提供远低于市场标准的报酬，可能涉及非法用工及就业歧视，违反《劳动法》和《残疾人保障法》。
• 监管漏洞与保护伞：若砖厂存在利用残障人员无自我保护能力的弱势地位进行剥削，且监管部门未履行职责（如未及时查处举报），则可能涉及行政不作为或渎职。

3. 法律后果与建议

• 对砖厂的责任：若存在强迫劳动、非法用工等行为，砖厂负责人可能面临刑事处罚（如有期徒刑、罚金）及行政处罚（如罚款、吊销营业执照）。
• 对残障人员的保护：残障人员有权拒绝非法用工，并向劳动监察部门举报（电话：12333）。若因工作遭受损害，可依法主张工伤赔偿或人身损害赔偿。
• 社会支持体系：行政主管部门应加强监管，公共就业服务机构需提供职业指导，家庭和社会应强化对残障人士的关爱与保护，避免其成为不法分子利用的对象。

4. 典型案例参考

• 广西钦州砖厂案中，民警现场查获5名疑似残障人士，工厂负责人因涉嫌强迫劳动被控制。此类案件表明，执法司法机关对残障人士劳动权益的保护力度不断加强。
• 山西黑砖窑事件曾引发社会广泛关注，凸显了对残障人士非法用工的严重性。此类事件再次发生，说明需持续深化监管与法律惩处。

结论：组织残障人员到砖厂工作是否违法，关键在于是否尊重其平等就业权、是否提供合法合规的劳动条件。若存在强迫、剥削或歧视行为，则必然违法；若依法保障其权益，则属于合法用工。如有具体案例或疑问，可直接向我咨询，我将结合事实与法律提供详细分析。