建筑工程实际施工人起诉发包方时，一般不能直接主张不给文明施工费及管理费，但具体能否扣除或免除，需根据实际情况和合同约定来判断。以下从不同角度进行分析：
一、合同约定角度
合同有明确约定：
- 如果实际施工人与发包方（或转包方、违法分包方）之间的合同中明确约定了文明施工费及管理费的支付方式、比例或金额，那么实际施工人应当按照合同约定履行支付义务。在此情况下，实际施工人起诉发包方要求不给这些费用，通常不会得到法院的支持，除非合同存在无效或可撤销的情形。
合同无明确约定：
- 如果合同中没有明确约定文明施工费及管理费的支付问题，那么实际施工人是否需要支付这些费用，就可能需要根据行业惯例、交易习惯或公平原则来综合判断。在此情况下，实际施工人起诉发包方要求不给这些费用，法院可能会根据具体情况进行裁决，但一般而言，如果这些费用是合理且必要的，实际施工人可能需要承担部分或全部费用。
二、法律规定角度
文明施工费：
- 文明施工费是建设工程费用中的一项，通常用于保障施工现场的文明施工和环境保护。根据相关法律法规和行业标准，文明施工费是建设工程费用中不可或缺的一部分。因此，除非合同另有约定或法律另有规定，实际施工人通常需要支付文明施工费。
管理费：
- 管理费是发包方或转包方、违法分包方为组织和管理工程施工所发生的费用。关于管理费是否应由实际施工人承担，法律并没有明确规定。在实践中，这通常取决于合同约定和实际情况。如果合同中明确约定了管理费的支付方式和比例，且该约定不违反法律法规的强制性规定，那么实际施工人应当按照合同约定支付管理费。如果合同中没有约定或约定不明确，法院可能会根据公平原则、行业惯例或实际损失情况来裁决管理费的承担问题。
三、实际施工人权益保护角度
实际施工人的合法权益：
- 实际施工人作为建设工程的实际执行者，其合法权益应当得到保护。如果发包方或转包方、违法分包方存在违法行为或不当行为，导致实际施工人遭受损失，实际施工人有权要求赔偿。然而，这并不意味着实际施工人可以随意拒绝支付合同约定的费用，包括文明施工费和管理费。
诉讼策略与证据收集：
- 如果实际施工人认为发包方或转包方、违法分包方存在违法行为或不当行为，导致其不应支付文明施工费或管理费，那么在实际诉讼中，实际施工人需要提供充分的证据来支持其主张。这可能包括合同文本、施工记录、费用明细、相关法律法规等。
建议：在实际操作中，如果实际施工人认为文明施工费或管理费存在不合理或不应支付的情况，建议先与发包方或转包方、违法分包方进行协商，尝试通过友好方式解决争议。如果协商无果，再考虑通过法律途径解决。在诉讼过程中，实际施工人应当充分准备证据，明确自己的主张和理由，以便更好地维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。