结论：工程项目安全员不到现场被罚款5万元是否合理，需结合具体情形判断，主要从以下角度分析：

1. 罚款的法律依据是否充分

• 行政处罚层面：若罚款由政府监管部门（如应急管理局、住建部门）作出，需依据《安全生产法》《建设工程安全生产管理条例》等法律法规。例如：
  • 《安全生产法》第九十九条规定，生产经营单位未设置安全生产管理机构或配备安全生产管理人员的，可处十万元以下罚款；
  • 《建设工程安全生产管理条例》第六十七条明确，施工单位未设立安全生产管理机构或配备专职安全生产管理人员的，可处十万元以下罚款。
  • 结论：若安全员未到场属于“未配备专职人员”的情形，且罚款5万元在法定幅度内，则具有合法性。
• 合同约定层面：若罚款由建设单位或总包单位依据内部合同条款作出，需审查合同是否明确约定安全员到场义务及违约责任。若合同合法有效且条款清晰，罚款可能被认定为合理；但若合同条款显失公平（如罚款金额过高），可能因违反《民法典》第四百九十七条被认定无效。

2. 罚款金额是否与违法行为匹配

• 比例原则：行政处罚需遵循“过罚相当”原则，罚款金额应与违法行为的社会危害性、主观过错程度相适应。例如：
  • 若安全员仅一次未到场且未造成事故，罚款5万元可能被认定为过重；
  • 若安全员长期缺岗导致重大安全隐患，罚款5万元可能具有合理性。
• 地方性法规：部分地区可能出台更具体的处罚标准（如某省《建设工程安全生产处罚细则》规定“安全员未到场每次罚款2-5万元”），此时需结合地方规定判断。

3. 程序合法性

• 行政处罚程序：若为政府处罚，需符合《行政处罚法》规定的程序，包括立案、调查取证、告知权利、听取陈述申辩、作出处罚决定等。若程序违法（如未告知申辩权），罚款可能被撤销。
• 合同处罚程序：若为合同罚款，需审查是否按合同约定程序执行（如是否发出书面整改通知、是否给予合理整改期）。

4. 安全员个人责任与单位责任的区分

• 个人责任：安全员未到场可能违反《安全生产法》第二十五条（从业人员义务），但个人一般不直接承担行政罚款，除非其行为构成“主要负责人未履职”（此时可能面临个人罚款）。
• 单位责任：罚款通常针对施工单位，若单位已尽到管理义务（如多次催促安全员到岗），可能主张减免责任；若单位放任安全员缺岗，则罚款合理性更高。

建议行动

1. 核实罚款主体：区分是政府处罚还是合同罚款，针对性应对；
2. 审查法律依据：要求处罚方出具具体法律条文及处罚标准；
3. 评估危害后果：收集安全员缺岗与事故风险的关联证据；
4. 主张程序权利：若程序违法，可申请行政复议或提起诉讼；若合同条款违法，可主张调整金额。

如有进一步细节（如处罚决定书内容、合同条款、安全员缺岗次数等），可直接向我咨询，我将结合具体情形提供法律意见。