审计整改过程中，通常需要将违规资金追回，但这并非绝对，需结合具体情况和审计要求来判断。以下是对此问题的详细解答：

一、审计整改的基本原则

审计整改是审计工作的重要环节，其目的在于纠正被审计单位在财务管理、资金使用等方面存在的问题，确保资金使用的合规性和有效性。在审计整改过程中，追回违规资金是常见且重要的措施之一，它有助于恢复被违规占用的资金，维护财经纪律的严肃性。

二、违规资金追回的必要性

1. 恢复资金原状：违规资金往往涉及非法占用、挪用或超标准发放等问题，追回这些资金可以恢复其原有的合法状态，确保资金使用的合规性。
2. 防止损失扩大：如果违规资金未被及时追回，可能会导致损失进一步扩大，甚至引发更严重的财经问题。
3. 强化审计效果：追回违规资金是审计整改的重要成果之一，它体现了审计工作的严肃性和有效性，有助于提升被审计单位对审计工作的重视程度。

三、违规资金追回的例外情况

虽然追回违规资金是审计整改的常见措施，但在某些特殊情况下，可能无法或不需要追回全部违规资金。例如：

1. 资金已无法追回：如果违规资金已被挥霍或无法追踪，那么追回可能变得不现实。在这种情况下，被审计单位可能需要采取其他措施来弥补损失，如调整预算、削减开支等。
2. 审计要求未明确追回：在某些审计项目中，审计部门可能更关注于问题的揭示和整改建议的提出，而未明确要求追回违规资金。这通常取决于审计项目的具体目标和要求。
3. 被审计单位已采取其他补救措施：如果被审计单位在审计过程中已经采取了其他有效的补救措施来纠正问题，并且这些措施得到了审计部门的认可，那么可能不需要再追回违规资金。

四、实际案例分析

以泾源县审计局督促一单位收回违规发放资金为例，该单位在审计过程中被发现存在违规发放、报销相关补贴、讲课费等问题。审计组组长与被审计领导干部积极沟通后，要求该单位尽快收回违规发放的相关资金。该单位高度重视此问题，并立即安排工作人员与相应人员进行对接收回资金。这一案例表明，在审计整改过程中，追回违规资金是常见且有效的措施。

五、建议与总结

1. 被审计单位应积极配合审计整改：在审计过程中，被审计单位应主动配合审计部门的工作，对能够整改的问题及时整改，包括追回违规资金。
2. 审计部门应提出有针对性的整改建议：审计部门在查出问题的同时，应提出有针对性的整改建议，帮助被审计单位规范权力、资金、资产的管理使用。
3. 强化审计整改的监督和考核：相关部门应加强对审计整改工作的监督和考核，确保整改措施得到有效落实。

综上所述，审计整改过程中通常需要将违规资金追回，但这也取决于具体情况和审计要求。被审计单位应积极配合审计整改工作，确保问题得到及时有效的解决。