结论概述：对于违法建筑的实际建设人已经死亡的情况，对违法建筑的处罚并不会因此免除，而是会依据相关法律法规，对违法建筑的现状进行处理，并可能追究相关责任人的法律责任。以下是从不同角度对此问题的详细分析：
违法建筑处罚的基本原则：
- 违法建筑，顾名思义，是违反了城乡规划、土地管理等相关法律法规的建筑。对于违法建筑的处罚，主要依据的是《城乡规划法》、《土地管理法》等相关法律法规。
- 处罚的基本原则是对事不对人，即处罚的是违法行为本身，而非违法行为的实施者个人（尽管在实施处罚时，通常会需要确定违法行为的实施者）。因此，即使实际建设人已经死亡，违法建筑的处罚程序仍会继续进行。
对违法建筑本身的处罚：
- 根据相关法律法规，违法建筑可能会面临责令停止建设、限期拆除、没收实物或违法收入、罚款等处罚措施。
- 这些处罚措施的实施，并不依赖于违法建筑的实际建设人是否在世。如果实际建设人已经死亡，相关部门仍会依法对违法建筑本身进行处理，如组织拆除、没收等。
对相关责任人的法律责任追究：
- 虽然实际建设人已经死亡，但如果其违法行为对他人或社会造成了损害，相关部门仍可能会追究其遗产继承人或其他相关责任人的法律责任。
- 例如，如果违法建筑的建设导致了他人财产损失或人身伤害，受害者有权要求赔偿。在这种情况下，如果实际建设人已经死亡，其遗产继承人可能需要在继承遗产的范围内承担赔偿责任。
- 另外，如果违法建筑的建设过程中存在其他违法行为，如行贿、受贿等，相关部门也可能会依法追究相关责任人的刑事责任。
实际操作中的考虑因素：
- 在实际操作中，相关部门在处理违法建筑时，会综合考虑多种因素，如违法建筑的性质、规模、对周边环境的影响、实际建设人的死亡情况等。
- 如果违法建筑的建设对公共利益造成了严重损害，或者存在其他严重违法行为，相关部门可能会采取更为严厉的处罚措施。
- 同时，相关部门也会注重保护合法继承人的权益，避免因为对违法建筑的处罚而损害其合法权益。
建议与后续行动：
- 如果您是违法建筑的遗产继承人或其他相关责任人，建议您积极配合相关部门的调查和处理工作，了解违法建筑的具体情况和可能面临的处罚措施。
- 如果您认为相关部门在处理违法建筑时存在违法行为或不当行为，您可以依法提出申诉或行政复议，维护自己的合法权益。
- 在处理违法建筑问题时，建议您咨询专业律师的意见，以便更好地了解自己的权利和义务，以及可能面临的法律风险。
如有任何进一步的问题或需要法律帮助，请随时向我咨询，我会根据您的具体情况提供详细的法律建议。