建筑行业单位的职工可以拒绝单位调离工作地点的要求，但需考虑相应的法律后果。以下是对此问题的详细分析：
一. 职工有权拒绝调离
- 根据《中华人民共和国劳动合同法》第三十五条，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，这包括工作地点。因此，如果单位未经与职工协商一致就单方面调离工作地点，职工有权拒绝。
二. 拒绝调离可能带来的法律后果
- 单位可能解除劳动合同：如果职工拒绝调离，单位可能会以职工违反公司规定或不服从管理为由，提出解除劳动合同。在这种情况下，职工需要评估自己是否处于有理有据的地位，以及是否愿意承担解除劳动合同的风险。
- 经济补偿或赔偿金：如果单位因职工拒绝调离而违法解除劳动合同，根据《中华人民共和国劳动合同法》第四十八条和第八十七条，职工可以要求单位继续履行劳动合同，或者要求单位支付赔偿金。赔偿金的计算标准通常是经济补偿标准的二倍。
三. 建议与注意事项
- 与单位沟通：在拒绝调离前，建议职工先与单位进行沟通，尝试达成协商一致，或者了解单位调离工作地点的具体原因和背景。
- 保留证据：如果单位确实存在单方面调离工作地点或违法解除劳动合同的行为，职工应保留好相关证据，如劳动合同、调令、解除劳动合同通知书等，以便在必要时维护自己的合法权益。
- 咨询法律意见：在面临复杂或不确定的法律问题时，职工可以咨询专业律师，获取更具体的法律意见和建议。
综上所述，建筑行业单位的职工可以拒绝单位调离工作地点的要求，但应充分考虑可能带来的法律后果，并采取相应的措施来保护自己的合法权益。如有进一步需要，您可以继续咨询我。