非法开采建筑用花岗岩属于违法行为，需根据具体情节承担行政责任或刑事责任，同时需承担生态修复等民事责任。具体处理方式需结合开采规模、是否造成严重后果等因素综合判断，以下分情况说明：

1. 行政责任（一般情节）

若非法开采行为未达到刑事立案标准（如开采量较小、未造成严重后果），通常由自然资源主管部门（原国土资源部门）依据《矿产资源法》《矿产资源法实施细则》等法规处理：

• 处罚措施：
  • 责令停止开采、没收违法所得；
  • 处以违法所得30%-50%的罚款（无违法所得的，处5万-10万元罚款）；
  • 限期拆除采矿设备、恢复土地原状。
• 典型场景：个人或小规模开采，未破坏地质环境或未引发安全事故。

2. 刑事责任（严重情节）

若非法开采行为符合《刑法》第三百四十三条“非法采矿罪”构成要件，需承担刑事责任：

• 立案标准（满足其一即可）：
  • 未取得采矿许可证擅自开采，且开采的矿产品价值或造成矿产资源破坏价值在10万-30万元以上（各省标准可能不同）；
  • 曾因非法采矿受过两次以上行政处罚，又实施非法采矿行为；
  • 在禁采区、禁采期开采，或造成生态环境严重损害。
• 量刑规则：
  • 基本刑：3年以下有期徒刑、拘役或管制，并处或单处罚金；
  • 情节特别严重（如价值超300万元、造成地质灾害等）：3-7年有期徒刑，并处罚金。
• 典型场景：大规模盗采、破坏性开采导致山体滑坡、水源污染等后果。

3. 民事责任（生态修复）

无论是否承担行政或刑事责任，非法开采者均需承担生态修复责任：

• 修复义务：根据《民法典》第一千二百三十四条，需对破坏的生态环境进行修复，无法修复的需赔偿损失；
• 赔偿范围：包括土壤改良、植被恢复、地质灾害治理等费用，以及修复期间的生态服务功能损失。

4. 特殊情形处理

• 共犯或单位犯罪：若多人共同实施或单位组织非法开采，主犯从重处罚，单位需缴纳罚金；
• 行政执法衔接：自然资源部门发现涉嫌犯罪的，应移送公安机关立案，避免“以罚代刑”；
• 从宽情节：主动停止开采、配合调查、积极修复生态的，可从轻或减轻处罚。

建议：若涉及非法开采行为，应立即停止并委托专业机构评估损失，主动与执法部门沟通争取从宽处理。如有具体案件细节（如开采量、是否造成事故等），可进一步向我咨询，我会结合证据材料分析法律风险。