结论前置：非法占用土地的处罚对象，既可能是目前的实际使用人，也可能是以前的建设人，具体取决于实际情况和相关法律规定。以下从不同角度进行分析：
从土地管理法规的角度：
- 根据《中华人民共和国土地管理法》的相关规定，非法占用土地是指未经批准或者采取欺骗手段骗取批准，非法占用土地的行为。这里的“非法占用”强调的是对土地使用权的非法取得或行使。
- 如果目前的实际使用人没有合法依据而占用了土地，那么其就是非法占用的行为人，应当受到处罚。这包括未经批准擅自占用土地、超过批准的数量占用土地、改变批准的土地用途占用土地等情形。
- 同时，如果以前的建设人虽然进行了建设，但后来将土地非法转让给了目前的实际使用人，且该转让行为未经批准或违反了相关规定，那么以前的建设人也可能因非法转让土地而受到处罚。不过，在这种情况下，如果目前的实际使用人明知土地转让非法仍接受并使用，其也可能因共同违法而受到处罚。
从实际执法和司法实践的角度：
- 在实际执法和司法实践中，对于非法占用土地的处罚对象，通常会根据具体情况进行调查和认定。这包括调查土地的使用历史、权属变更情况、当事人的行为性质等。
- 如果目前的实际使用人能够证明其是通过合法途径取得土地使用权的（如通过继承、赠与、买卖等合法方式，且这些方式符合土地管理法规的规定），那么其可能不会被认定为非法占用的行为人。
- 相反，如果目前的实际使用人无法证明其土地使用权的合法性，或者其土地使用权是通过非法手段取得的，那么其就可能成为处罚的对象。同时，如果以前的建设人与目前的实际使用人之间存在非法转让土地的行为，那么以前的建设人也可能受到相应的处罚。
特殊情况下的处罚对象：
- 在某些特殊情况下，如土地被多次非法转让或存在复杂的权属纠纷时，处罚对象的认定可能会更加复杂。这时，需要综合考虑各种因素，包括当事人的行为性质、过错程度、对土地的实际控制情况等。
- 例如，如果土地被多次非法转让，且每次转让都未经批准或违反了相关规定，那么所有参与非法转让的当事人都可能受到处罚。不过，在实际执法和司法实践中，通常会根据具体情况和当事人的过错程度来划分责任。
法律建议：
- 对于目前的实际使用人来说，如果其怀疑自己占用的土地可能存在非法问题，应当及时咨询专业律师或当地土地管理部门，了解自己的权利和义务，以及可能面临的法律责任。
- 对于以前的建设人来说，如果其曾经非法占用或转让过土地，也应当主动向相关部门说明情况，并配合调查和处理工作，以减轻或避免可能的法律责任。
可能法律后果：
- 非法占用土地的行为人可能会面临责令退还非法占用的土地、限期拆除在非法占用的土地上新建的建筑物和其他设施、恢复土地原状、罚款等行政处罚。
- 如果非法占用土地的行为构成犯罪（如非法占用农用地罪等），行为人还可能面临刑事处罚。
如有任何关于房产问题（特别是农村土地/宅基地）的法律疑问，可以直接向我咨询。