不给审计公司回函是否违法，取决于具体的法律规定和合同约定。以下是对此问题的详细分析：

一. 法律规定

1. 《中华人民共和国审计法》相关规定：该法规定了审计机关的职责、权限以及审计程序等，但并未直接规定被审计单位必须给审计公司回函的义务。然而，如果审计是由政府审计机关进行的，那么被审计单位有配合审计的义务，这包括提供必要的资料、信息等。

2. 《中华人民共和国合同法》相关规定：如果审计公司与被审计单位之间签订了审计合同，那么双方的权利和义务将由合同来约定。如果合同中明确规定了被审计单位需要给审计公司回函，那么不回函就可能构成违约，需要承担相应的法律责任。

二. 合同约定

• 审计合同中的具体条款：审计合同中可能会明确约定被审计单位需要回复审计公司的询证函或其他函件。如果合同中确实有这样的条款，并且被审计单位没有按照约定回函，那么就可能构成对合同的违反。

三. 实际情况分析

1. 政府审计：如果是政府审计机关进行的审计，被审计单位有义务配合审计，包括提供必要的资料和信息。在这种情况下，不回函可能会被视为不配合审计的行为，可能会受到相应的法律制裁。

2. 商业审计：如果是商业审计，即审计公司受委托对被审计单位进行审计，那么双方的权利和义务主要由审计合同来约定。如果合同中规定了回函的义务，那么不回函就可能构成违约；如果合同中没有明确规定，那么不回函本身并不直接构成违法，但可能会影响双方的商业合作和信誉。

综上所述，不给审计公司回函是否违法，需要根据具体的法律规定和合同约定来判断。如果是政府审计，被审计单位有配合审计的义务；如果是商业审计，则需要看合同中是否有相关约定。我建议你在处理此类问题时，首先查看相关的法律规定和合同条款，以明确自己的权利和义务。如有进一步需要，您可以继续咨询我。