对转让或抵押国有不可移动文物的处罚对象主要是实施该违法行为的单位或个人。

具体来说，根据相关法律法规，国有不可移动文物属于国家所有，任何单位或个人都不得擅自转让或抵押。如果违反规定，进行了转让或抵押国有不可移动文物的行为，那么实施这一行为的单位或个人将会受到相应的法律处罚。这种处罚可能是行政处罚，如罚款、警告等，也可能是刑事责任，具体取决于违法行为的严重程度和造成的后果。

因此，无论是单位还是个人，在涉及国有不可移动文物的事务时，都应严格遵守相关法律法规，避免违法行为带来的法律后果。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询，我会提供专业的法律解答和建议。