在处理行政案件时，若违法事实存在但程序违法，我们需要综合考虑多个方面来确保公正、合法地处理此类问题。以下是对此问题的详细解答：
一、明确程序违法的性质与影响
程序违法指的是行政机关在作出行政行为时，未遵循法定的步骤、方式、时限或顺序等程序性规定。这种违法可能损害当事人的合法权益，如知情权、陈述申辩权等，并可能影响行政行为的合法性和有效性，甚至导致行政行为被撤销或确认无效。
二、分析具体情形与处理原则
程序瑕疵但不影响实体决定：
- 如果程序违法属于轻微瑕疵，且对当事人权利不产生实际影响，根据相关法律规定，人民法院可以判决确认违法，但不撤销行政行为。例如，行政机关在送达文书时未严格遵循法定方式，但当事人已实际收到并知晓文书内容，此时可视为程序瑕疵。
程序违法导致实体决定错误：
- 如果程序违法导致行政行为的主要证据不足、适用法律错误或违反法定程序等，人民法院应判决撤销或部分撤销行政行为。例如，行政机关在未听取当事人陈述申辩的情况下作出处罚决定，严重侵犯了当事人的合法权益，此时应撤销该处罚决定。
程序违法且无法补正：
- 如果程序违法无法通过补正等方式消除其违法性，且对行政行为产生实质性影响，那么该行政行为应被确认为无效。例如，行政机关在作出行政行为时未遵循法定的必经程序，且该程序无法事后补正，此时应确认该行政行为无效。
三、处理建议
对于当事人：
- 申请行政复议：当事人认为行政行为程序违法的，有权在知道该行为之日起六十日内（法律另有规定除外）向有权机关提出复议申请，要求撤销、变更或确认行政行为违法。
- 提起行政诉讼：若对复议结果不满或未选择复议，当事人可在知道或应当知道行为之日起六个月内（法律另有规定除外）向法院提起行政诉讼，要求法院审查行政行为的合法性。
- 收集证据：在复议或诉讼过程中，当事人应提供充分的证据证明程序违法的事实及其对自身权益的影响，如行政决定书、送达回执、沟通记录等。
对于行政机关：
- 加强程序规范：行政机关应加强对执法程序的规范和监督，确保行政行为符合法定程序要求，避免程序违法问题的发生。
- 及时补正或纠正：一旦发现程序违法问题，行政机关应及时采取措施进行补正或纠正，如重新作出合法行为、赔偿当事人损失等，以避免引发不必要的法律纠纷。
对于司法机关：
- 全面审查：司法机关在审理行政案件时，应全面审查行政行为的合法性，包括程序是否合法，确保裁判结果的公正性和合法性。
- 依法裁判：对于程序违法的行政行为，司法机关应根据具体情况作出相应的裁判结果，如撤销、变更或确认违法等，以维护当事人的合法权益和法律的权威。
综上所述，处理行政案件时若违法事实存在但程序违法，我们需要根据具体情况和法律规定来综合判断和处理。当事人在遇到此类问题时，建议及时咨询专业律师以获取更具体的法律建议和帮助。