行政行为没有事实依据，既可能被撤销，也可能被认定为无效，具体取决于违法情节的严重程度及法律后果的判定。以下从不同角度进行详细分析：
一、行政行为可被撤销的情形
主要证据不足：
- 当行政行为所依赖的事实并无充足的证据予以支撑时，即构成主要证据不足。这是撤销行政行为的常见情形之一。
- 例如，行政机关对某企业作出罚款决定，但未能提供充分的证据证明该企业存在违法行为，此时该罚款决定就可能因主要证据不足而被撤销。
适用法律法规错误：
- 行政行为未能严格遵守所应遵循的法律法规条款，也构成撤销的理由。
- 例如，行政机关在作出行政处罚时，错误地适用了已废止的法律法规，导致处罚决定违法，此时该处罚决定就可能被撤销。
违反法定程序：
- 未按照法定的步骤、顺序、方式以及时间期限来完成行政行为，同样构成撤销的理由。
- 例如，行政机关在作出行政许可决定时，未依法告知申请人听证权利，导致申请人的合法权益受到损害，此时该行政许可决定就可能因违反法定程序而被撤销。
越权行为与权力滥用：
- 行政主体在其法定权限之外做出的行政行为，或行使职权时违背法律的目的、基本原则以及精神实质，甚至通过徇私舞弊或者不公正地考量相关事务谋求个人利益，也构成撤销的理由。
- 例如，行政机关超越其法定职权范围对某公民作出行政处罚，或者行政机关在作出行政决定时存在徇私舞弊的行为，此时该行政行为就可能被撤销。
显失公平：
- 虽然行政行为在形式上合乎法例，但其结果显著不合理性与不公正性，严重背离了普通人的理性判断能力，也构成撤销的理由。
- 例如，行政机关对某企业作出的罚款决定，虽然程序合法，但罚款金额明显过高，与企业的违法情节不成比例，此时该罚款决定就可能因显失公平而被撤销。
撤销行政行为须在法定有效期间内提出，逾期则可能丧失撤销权。
二、行政行为可被认定为无效的情形
行政行为存在重大且明显违法：
- 当行政行为存在重大且明显的违法情形时，如行政主体不具备行政主体资格、行政行为没有法律依据等，该行政行为可能被认定为无效。
- 例如，某无行政执法权的机构对某公民作出行政处罚决定，此时该处罚决定就因行政主体不具备行政主体资格而无效。
行政行为的内容不可能实现：
- 如果行政行为的内容在客观上不可能实现，如要求相对人实施不可能完成的行为等，该行政行为也可能被认定为无效。
- 例如，行政机关要求某企业在极短时间内完成一项根本无法完成的任务，此时该要求就因内容不可能实现而无效。
行政行为的实施将导致犯罪：
- 如果行政行为的实施将导致犯罪行为的发生，如行政机关要求相对人实施盗窃、诈骗等违法行为，该行政行为同样可能被认定为无效。
无效的行政行为自始不发生法律效力，相对人可以不受该行为的约束，并有权要求行政机关承担相应的法律责任。
三、法律建议
- 对于行政相对人：如果认为行政行为没有事实依据且违法情节严重，可以根据具体情况选择申请行政复议或提起行政诉讼，要求撤销该行政行为或确认其无效。
- 对于行政机关：在作出行政行为时，应确保事实清楚、证据充分、程序合法、适用法律法规正确，并避免越权行为和权力滥用，以防止行政行为被撤销或认定为无效。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供专业、全面的法律服务。