没有审计通知书而拒绝配合审计的行为，可能构成违法行为。针对此问题，可以从以下几个方面进行分析和应对：

一. 审计通知书的法律地位

1. 审计通知书的必要性：根据审计工作的常规流程，审计机关或有权发起审计的单位在进行审计前，通常会向被审计单位发出审计通知书，明确审计的目的、范围、时间和地点等关键信息。

2. 未收到审计通知书的应对：如果被审计单位未收到审计通知书，但在后续被要求配合审计时，应首先确认审计的真实性和合法性。可以通过与审计机关或发起审计的单位联系，核实审计的相关事宜。

二. 拒绝配合审计的法律后果

1. 行政责任：根据《中华人民共和国审计法实施条例》第四十七条，被审计单位如果拒绝、拖延提供与审计事项有关的资料，或者提供的资料不真实、不完整，或者拒绝、阻碍检查，审计机关有权责令改正，并可以给予警告；拒不改正的，可能面临罚款的处罚。

2. 刑事责任：在更严重的情况下，如果拒绝配合审计的行为构成隐匿或故意销毁会计凭证、会计账簿、财务会计报告等犯罪行为，相关责任人可能面临有期徒刑、拘役或罚金的处罚。

三. 应对建议

1. 核实审计的真实性：在收到审计要求时，无论是否收到审计通知书，都应首先核实审计的真实性和合法性。可以通过与审计机关或发起审计的单位联系，确认审计的相关事宜。

2. 积极配合审计：如果审计是真实且合法的，被审计单位应积极配合审计工作，提供真实、完整的资料，并如实反映情况。

3. 寻求法律救济：如果认为审计要求不合理或存在违法违规行为，被审计单位可以通过合法途径提出申诉或复议，但不能拒绝配合审计或以任何方式阻碍审计工作的进行。

我的观点：面对没有审计通知书而拒绝配合审计的情况，被审计单位应首先核实审计的真实性和合法性。如果审计是真实且合法的，应积极配合审计工作；如果存在异议，应通过合法途径解决争议，而不是直接拒绝配合审计。如有进一步需要，您可以继续咨询我。