离任审计并不一定要调外单位进行，这主要取决于审计的具体对象、内容以及审计机关或审计团队的安排。

首先，我们来明确离任审计的基本概念。离任审计，顾名思义，是在人员离职、调岗或卸任时，对其在职期间的经济责任、管理绩效等方面进行的审计。这种审计的目的是为了评估被审计人在职期间的工作表现，确保其经济活动的合规性，以及为后续的交接工作提供依据。

接下来，我们分析离任审计的实施主体。离任审计通常由审计机关或专业的审计团队负责执行。这些审计机关或团队可能来自被审计人所在的单位内部，也可能来自外部的专业审计机构。具体选择哪种方式，取决于多种因素，如审计的复杂性、被审计单位的规模、审计资源的可用性等。

1. 内部审计：如果被审计单位拥有完善的内部审计体系，且审计团队具备足够的专业能力和独立性，那么离任审计可以由内部团队进行。这种方式的好处是审计团队对被审计单位的情况比较熟悉，能够更高效地开展工作。

2. 外部审计：在某些情况下，特别是当被审计单位规模较大、审计内容复杂，或者内部审计团队缺乏足够的专业能力时，可能会选择外部审计机构进行离任审计。外部审计机构通常具有更广泛的专业知识和经验，能够提供更客观、公正的审计意见。

此外，对于某些特定类型的离任审计，如领导干部自然资源资产离任审计，根据相关规定，审计对象可能包括各级党委和政府主要领导干部，以及承担自然资源资产管理和生态环境保护工作部门（单位）的主要领导干部。这类审计可能更加侧重于对自然资源资产管理和生态环境保护方面的评估，而审计的实施主体也可能根据具体情况由内部审计或外部审计机构来承担。

综上所述，离任审计并不一定要调外单位进行。是否需要调外单位，取决于审计的具体需求、被审计单位的情况以及审计资源的可用性等多种因素。因此，在进行离任审计时，应根据实际情况灵活选择审计实施主体，以确保审计工作的顺利进行和审计结果的客观公正。