施工人一般不能直接向建设行政主管部门提起诉讼要求返还安全文明措施费，但可以通过行政复议或行政诉讼等途径维护自身权益，具体需视情况而定。以下从不同角度为你详细分析：
一、安全文明措施费的性质与支付主体
安全文明措施费是用于施工现场安全文明施工的费用，通常由建设单位（业主）支付给施工单位（施工人），作为工程款的一部分。因此，从合同关系和费用支付的角度来看，施工人应向建设单位主张返还安全文明措施费（若存在应返还的情形），而非直接向建设行政主管部门提起诉讼。
二、建设行政主管部门的职责与诉讼对象
建设行政主管部门主要负责建筑市场的监管、工程质量的监督、施工安全的检查等行政管理工作。它并不是安全文明措施费的支付主体，也不直接参与工程款的结算和支付。因此，施工人若因安全文明措施费的问题产生纠纷，一般不能直接将建设行政主管部门作为被告提起诉讼。
三、可能的法律途径与建议
行政复议：
- 如果施工人认为建设行政主管部门在监管过程中存在违法行为或不当行为，导致其权益受损，可以先向该部门的上一级行政机关申请行政复议。
- 行政复议是一种行政救济途径，旨在纠正行政机关的违法行为或不当行为，保护公民、法人和其他组织的合法权益。
行政诉讼：
- 如果施工人对行政复议结果不满意，或者认为建设行政主管部门的行政行为直接侵犯了其合法权益，可以向人民法院提起行政诉讼。
- 在行政诉讼中，施工人需要证明建设行政主管部门的行政行为违法或不当，并请求法院撤销或变更该行政行为。但需注意，行政诉讼的被告通常是作出行政行为的行政机关，而非直接涉及工程款支付的建设单位。
民事诉讼：
- 如果施工人与建设单位之间就安全文明措施费的支付存在争议，且该争议属于民事纠纷范畴，施工人可以向人民法院提起民事诉讼。
- 在民事诉讼中，施工人需要证明建设单位未按照合同约定支付安全文明措施费，并请求法院判决建设单位支付相应费用及可能的违约金或利息。
四、特殊情况下的处理
- 如果建设行政主管部门在监管过程中要求施工人缴纳了额外的费用（如罚款、保证金等），且这些费用与安全文明措施费无关，但施工人认为这些费用不合理或违法，那么施工人可以针对这些费用向建设行政主管部门提出异议，并通过行政复议或行政诉讼等途径寻求救济。
- 如果施工人与建设单位之间的合同中明确约定了安全文明措施费的支付方式、时间和条件等，且建设行政主管部门在监管过程中对合同履行产生了影响（如要求暂停施工、整改等），导致施工人无法按时获得安全文明措施费，那么施工人可以先与建设单位协商解决；协商不成的，可以根据合同约定或法律规定向人民法院提起诉讼或申请仲裁。
总结与建议：
施工人一般不能直接向建设行政主管部门提起诉讼要求返还安全文明措施费。若因安全文明措施费产生纠纷，施工人应根据具体情况选择合适的法律途径维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。