并非只要程序违法的行政行为就一律无效。行政行为的效力需根据具体情况判断，以下是对此问题的详细分析：
无效的情形：
- 根据《中华人民共和国行政诉讼法》第七十五条，行政行为若存在实施主体不具有行政主体资格、没有依据等重大且明显违法情形，将被人民法院判决确认无效。这意味着，当程序违法构成重大且明显违法时，该行政行为自始无效。
可撤销的情形：
- 对于一般的程序违法，如程序轻微违法但对原告权利不产生实际影响的情况，根据《行政诉讼法》第七十四条，人民法院可能判决确认违法但不撤销行政行为。此时，行政行为虽然违法，但并未被宣告无效，仍具有一定的法律效力，只是需要行政机关进行补正或采取其他补救措施。
不影响效力的情形：
- 在某些情况下，即使行政行为存在程序违法，但如果这种违法并未对当事人的实体权利产生实质性影响，或者撤销该行政行为会对国家利益、社会公共利益造成重大损害，那么人民法院可能会判决确认违法但保留行政行为的效力。
综上所述，程序违法的行政行为并非一律无效，而是需要根据违法的程度、对当事人权益的影响以及法律后果的严重性等因素来综合判断。如果你面临具体的行政行为争议，建议直接向我咨询，我将根据你的具体情况提供专业的法律分析和建议。