行政行为的违法性主要由人民法院这一司法机关来认定。以下是对这一问题的详细解释：
一、认定主体
在行政法律关系中，行政行为的违法性认定是一个核心环节，它直接关系到行政相对人的合法权益以及行政机关的执法权威。根据我国的法律体系，人民法院是负责审理行政案件、对行政行为的合法性进行审查的司法机关。当行政相对人认为行政行为侵犯其合法权益时，可以向人民法院提起行政诉讼，由人民法院对行政行为的合法性进行全面审查，并作出最终判决。
二、认定依据
人民法院在认定行政行为违法时，主要依据以下法律法规：
《中华人民共和国行政诉讼法》：该法明确规定了行政诉讼的受案范围、审理程序、判决类型等，为人民法院审查行政行为的合法性提供了基本框架。其中，第七十条规定了行政行为违法的主要情形，包括主要证据不足、适用法律错误、违反法定程序、超越职权、滥用职权和明显不当等。
相关行政法律、法规和规章：人民法院在审查行政行为时，还会依据具体的行政法律、法规和规章，判断行政行为是否符合这些法律规范的要求。
三、认定程序
人民法院认定行政行为违法的程序主要包括以下几个步骤：
立案：行政相对人向人民法院提起行政诉讼，人民法院对起诉进行审查，符合起诉条件的，予以立案。
审理：人民法院组织合议庭，对案件进行审理。审理过程中，双方当事人可以提交证据、进行辩论，人民法院也会依职权调查取证。
判决：人民法院根据审理查明的事实和法律规定，对行政行为的合法性进行判断，并作出相应的判决。如果认定行政行为违法，人民法院可能会判决撤销、变更或者确认该行政行为违法，并可以责令行政机关采取补救措施或者赔偿损失。
四、特殊情况
在某些特殊情况下，行政行为的违法性也可能由其他机关或部门进行初步认定或提出意见，但最终的法律效力仍需由人民法院确认。例如：
行政复议机关：行政相对人可以先向行政复议机关申请行政复议，对复议决定不服的，再向人民法院提起行政诉讼。行政复议机关在复议过程中也会对行政行为的合法性进行审查，但其审查意见并不具有最终法律效力。
行政监察机关：行政监察机关负责对行政机关及其工作人员的行政行为进行监督，发现违法行为的，可以提出监察建议或者作出监察决定。但这些建议或决定同样需要接受人民法院的司法审查。
五、建议与提醒
对于行政相对人而言，如果认为行政行为侵犯了其合法权益，应当及时向人民法院提起行政诉讼，以维护自己的合法权益。同时，在行政诉讼过程中，行政相对人应当积极配合人民法院的审理工作，提供充分的证据和理由支持自己的主张。
如果您在行政法律关系中遇到任何问题或困惑，可以直接向我咨询。作为专业律师，我将根据您的具体情况提供详细的法律建议和帮助。