擅自迁移文物的处罚对象通常是施工单位，但在特定情况下，建设单位也可能承担相应责任。以下是对此问题的详细分析：
一、施工单位擅自迁移文物的法律责任
根据《中华人民共和国文物保护法实施条例》第五十五条以及《长城保护条例》第六十六条的相关规定，施工单位若未取得相应等级的文物保护工程资质证书，擅自承担文物保护单位的修缮、迁移、重建工程，将面临法律责任。具体处罚措施包括：
- 责令限期改正：文物行政主管部门会首先要求施工单位在规定期限内改正其违法行为。
- 罚款：若施工单位逾期不改正，或者造成严重后果的，将处以5万元以上50万元以下的罚款。罚款的具体数额会根据违法行为的情节轻重、造成的后果严重程度等因素进行裁量。
- 吊销资质证书：对于情节严重的违法行为，原发证机关有权吊销施工单位的资质证书。
二、建设单位可能承担的责任
虽然直接的法律责任通常指向施工单位，但建设单位在特定情况下也可能承担相应责任。这主要取决于建设单位在文物迁移过程中的角色和行为：
- 如果建设单位是文物迁移工程的发起者或组织者：并且未按照规定程序办理相关审批手续，或者明知施工单位不具备相应资质而仍委托其进行文物迁移工作，那么建设单位也可能面临法律责任。这种情况下，建设单位可能因“指使或协助”施工单位实施违法行为而被追究责任。
- 如果建设单位与施工单位存在共同违法行为：例如，双方共同策划、实施了擅自迁移文物的行为，那么建设单位和施工单位将可能作为共同违法主体被追究责任。
三、法律建议
- 严格遵守法律法规：无论是建设单位还是施工单位，都应严格遵守文物保护相关的法律法规，确保文物迁移工作的合法性和安全性。
- 办理相关审批手续：在进行文物迁移前，应按照规定程序办理相关审批手续，确保迁移工作的合法性和合规性。
- 选择具备资质的施工单位：建设单位在选择施工单位时，应确保其具备相应的文物保护工程资质证书，以避免因施工单位不具备资质而引发的法律责任。
如有任何关于征地拆迁、建设工程或文物保护方面的法律问题，欢迎直接向我咨询。我将以专业的法律知识和丰富的实践经验，为您提供全面、准确的法律解答。