文物被拆除了，并不一定要由拆除的单位来重建。具体分析如下：

1. 法律责任与义务：

   • 文物作为国家的历史文化遗产，受到法律的保护。任何单位或个人擅自拆除文物，都可能构成违法行为，需承担相应的法律责任。
   • 拆除单位若因违法行为导致文物损毁，应承担相应的赔偿责任，包括但不限于修复、重建或赔偿损失等。但这并不意味着拆除单位有义务或责任去重建被拆除的文物。

2. 文物重建的决策与实施：

   • 文物的重建涉及多方面的因素，包括历史价值、文化意义、重建技术、资金筹集等。这些决策通常由文物保护部门或相关政府机构来做出，而非由拆除单位来决定。
   • 重建文物需要专业的技术和团队，以及大量的资金支持。拆除单位可能并不具备这些条件，因此不一定能够承担重建文物的任务。

3. 法律建议：

   • 如果文物被非法拆除，建议立即向当地文物保护部门或相关政府机构报告，以便他们采取必要的措施来追究责任并保护文物。
   • 对于拆除单位来说，如果面临文物重建的问题，应积极配合文物保护部门的工作，提供必要的支持和协助，但并不意味着必须独自承担重建任务。

综上所述，文物被拆除后，并不一定要由拆除的单位来重建。文物的重建决策和实施应由文物保护部门或相关政府机构来负责，而拆除单位则应承担其因违法行为所导致的相应法律责任。如果你有其他关于文物保护或拆迁安置的法律问题，可以直接向我咨询。