违法占地的被行政处罚人通常是违法占地的建设者或实际使用者。具体分析如下：
违法占地的建设者：
- 根据《中华人民共和国土地管理法》的相关规定，任何单位和个人进行建设，需要使用土地的，必须依法申请使用国有土地，并办理相关用地手续。若未按照该规定办理相关手续，擅自占用土地进行建设的，则构成违法占地。在此情况下，违法占地的建设者即为被行政处罚的对象。
- 例如，在某案例中，张某与村民委员会签订土地租赁合同后，未办理用地手续即在租用的土地上建设厂房，后被国土资源部门认定为违法占地，并对张某作出了行政处罚决定。
实际使用者（在某些情况下）：
- 若违法占地的建设者将土地及地上物出租或出卖给他人，而实际使用者未办理相关用地手续继续占用土地的，则实际使用者也可能成为被行政处罚的对象。
- 但需注意的是，这种情况下需要充分考虑证据材料，确保实际使用者确实存在违法占地行为，且违法占地的建设者已无法追究或已转移相关责任。
在实际操作中，确定违法占地的被行政处罚人需要综合考虑多种因素，包括违法占地的具体情况、相关证据材料以及法律法规的适用等。因此，在处理此类案件时，建议充分调查取证，并咨询专业律师的意见，以确保处罚的准确性和合法性。
如果您或您身边的人面临类似问题，欢迎随时向我咨询，我将竭诚为您提供专业的法律帮助。