实际施工人不能放弃违法转包人的付款义务。以下是对此问题的详细分析：

一. 违法转包合同无效

1. 法律依据：根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第一条，建设工程施工合同具有下列情形之一的，应当依据民法典第一百五十三条第一款的规定，认定无效：（一）承包人未取得建筑业企业资质或者超越资质等级的；（二）没有资质的实际施工人借用有资质的建筑施工企业名义的；（三）建设工程必须进行招标而未招标或者中标无效的。承包人因转包、违法分包建设工程与他人签订的建设工程施工合同，应当依据民法典第一百五十三条第一款及第七百九十一条第二款、第三款的规定，认定无效。
2. 分析说明：在违法转包的情况下，转包合同本身是无效的。尽管合同无效，但实际施工人仍有权要求违法转包人支付工程款，这是基于实际施工人投入劳动和材料，完成了工程建设的事实。

二. 实际施工人的权利

1. 法律依据：根据《最高人民法院关于审理建设工程施工合同纠纷案件适用法律问题的解释（一）》第四十三条，实际施工人以转包人、违法分包人为被告起诉的，人民法院应当依法受理。实际施工人以发包人为被告主张权利的，人民法院应当追加转包人或者违法分包人为本案第三人，在查明发包人欠付转包人或者违法分包人建设工程价款的数额后，判决发包人在欠付建设工程价款范围内对实际施工人承担责任。
2. 分析说明：实际施工人虽然与违法转包人之间的合同无效，但他们仍然有权要求支付工程款。如果实际施工人放弃了违法转包人的付款义务，那么他们可能会面临无法追回工程款的风险，这显然是不利于保护实际施工人的合法权益的。

三. 放弃付款义务的法律后果

1. 观点阐述：如果实际施工人放弃违法转包人的付款义务，这意味着他们放弃了追求自己合法权益的权利。在实际操作中，这可能会导致实际施工人无法获得应有的工程款，进而造成经济损失。
2. 建议：因此，我建议实际施工人不要轻易放弃违法转包人的付款义务。在面临工程款纠纷时，应该积极通过法律途径来维护自己的合法权益，比如向法院提起诉讼或者申请仲裁等。

综上所述，实际施工人不能放弃违法转包人的付款义务，因为这涉及到他们的合法权益。如有进一步需要，您可以继续咨询我。