行政违法行为可以存在过失。

行政违法的主观要件是指行政违法主体主观上有过错，包括故意和过失。故意是指明知自己行为的社会危害性而希望或放任其发生的主观心理状态。过失则是指应当预见自己行为的社会危害性，由于疏忽大意没有预见或虽然预见但轻信能够避免的主观心理状态。

在行政法领域，过失违反行政法律规范，并且造成危害后果的，也应当依法承担行政责任。例如，如果行政机关工作人员在执行职务时，由于疏忽大意或过于自信，未能正确履行职责，导致行政违法行为的发生，那么该工作人员就需要承担相应的行政责任。

因此，行政违法行为不仅可以由故意构成，也可以由过失构成。在判断行政违法行为时，需要综合考虑行为人的主观过错、客观行为以及行为后果等因素。