结论是：残疾人在工厂上班被安排去正在施工的工地干重活，这一行为是否违法，需结合具体情况判断，但很可能存在违法情形。以下从不同角度进行分析：
一、从劳动合同和岗位匹配性角度分析
劳动合同约定：
- 如果残疾人与工厂签订的劳动合同中明确规定了其工作岗位、工作内容以及工作地点，且该岗位并不涉及重体力劳动或工地施工，那么工厂擅自改变其工作内容，安排其去工地干重活，就违反了劳动合同的约定。
- 根据《劳动合同法》的相关规定，用人单位与劳动者应当按照劳动合同的约定，全面履行各自的义务。用人单位违反劳动合同约定，擅自变更劳动者工作岗位的，劳动者有权要求用人单位按照原劳动合同履行。
岗位匹配性：
- 残疾人由于身体原因，可能并不适合从事重体力劳动或工地施工等高风险工作。工厂在安排工作时，应当充分考虑残疾人的身体状况和劳动能力，确保其从事的工作与其身体状况相适应。
- 如果工厂无视残疾人的身体状况，强行安排其从事不适合的工作，不仅可能违反劳动合同的约定，还可能对残疾人的身体健康造成损害。
二、从劳动保护和安全卫生角度分析
劳动保护：
- 工厂有义务为劳动者提供必要的劳动保护措施，确保劳动者在劳动过程中的安全和健康。对于残疾人来说，由于其身体状况的特殊性，工厂更应当提供额外的劳动保护措施。
- 如果工厂安排残疾人去正在施工的工地干重活，且未提供必要的劳动保护措施，如安全帽、安全带等，就可能违反劳动保护的相关规定。
安全卫生：
- 工地施工环境通常较为复杂，存在诸多安全隐患。工厂在安排残疾人去工地工作时，应当确保工作场所的安全卫生条件符合国家标准或行业标准。
- 如果工地存在安全隐患或安全卫生条件不达标，工厂安排残疾人去工作就可能构成违法。
三、从特殊群体保护角度分析
- 残疾人作为特殊群体，受到法律的特别保护。工厂在安排工作时，应当充分考虑残疾人的特殊需求，避免安排其从事不适合的工作。
- 如果工厂无视残疾人的特殊需求，强行安排其从事重体力劳动或工地施工等高风险工作，就可能违反特殊群体保护的相关规定。
法律建议
- 与工厂协商：残疾人可以首先与工厂进行协商，要求工厂按照劳动合同的约定安排工作，或者提供必要的劳动保护措施。
- 向劳动监察部门投诉：如果协商无果，残疾人可以向当地的劳动监察部门投诉，要求劳动监察部门对工厂的违法行为进行调查和处理。
- 寻求法律援助：如果残疾人的权益受到严重侵害，还可以寻求法律援助，通过法律途径维护自己的合法权益。
最后，需要强调的是，每个具体案件的情况都有所不同，因此在处理类似问题时，建议残疾人根据自身情况，结合相关法律法规，采取合适的措施来维护自己的权益。如果有任何法律问题，可以直接向我咨询。