行政单位违规发放被追回的财政资金，原则上需要上缴财政。以下从不同角度为你详细分析：

法律依据角度

根据《财政违法行为处罚处分条例》等相关法律法规，行政单位对于财政资金的使用应当遵循严格的预算管理和财务制度。违规发放财政资金属于违反财政法规的行为，一旦这些资金被追回，其性质仍然是财政资金，应当按照规定重新纳入财政管理范畴，即上缴财政。这是为了维护财政资金的严肃性和规范性，确保财政资金能够按照法定用途和程序进行分配和使用。

财政管理角度

财政资金是国家为了履行公共管理职能、提供公共服务而筹集和分配的资金，具有特定的用途和流向。行政单位违规发放财政资金，破坏了正常的财政收支秩序。将追回的资金上缴财政，有助于恢复和维持财政管理的正常秩序，保证财政资金的合理配置和有效使用。例如，如果违规发放的资金原本是用于教育、医疗等公共领域的专项资金，追回后上缴财政可以确保这些资金能够重新按照原定计划投入到相应的公共项目中。

防止再次违规角度

要求行政单位将违规发放被追回的财政资金上缴财政，也是一种监督和制约机制。这可以促使行政单位更加严格地遵守财政法规和财务制度，加强对财政资金的管理和监督，防止类似违规行为再次发生。如果追回的资金不要求上缴财政，而是由行政单位自行处理，可能会存在资金再次被违规使用或挪作他用的风险。

特殊情况说明

虽然一般情况下违规发放被追回的财政资金需要上缴财政，但也存在一些特殊情况。比如，如果违规发放的资金是由于行政单位内部管理不善、工作人员失误等原因导致，且金额较小，在经过相关部门批准后，可能会按照一定的程序进行内部处理，而不一定上缴财政。不过，这种情况需要严格的审批程序和明确的依据，不能随意决定。

如果你在实际操作中遇到相关问题，或者对具体细节有疑问，可以直接向我咨询，我会结合具体情况为你提供更详细的法律建议。