针对您提出的“违章建筑是先由行政部门处理还是直接起诉”的问题，以下是我为您提供的详细解答：
首先，违章建筑的处理通常不会直接进入诉讼程序。根据相关规定，违章建筑主要由城乡规划等相关行政部门负责查处与处理。这些行政部门具有法定职责去认定违章建筑行为，并可以采取责令拆除等措施来纠正违法行为。
在处理违章建筑的过程中，行政部门会依法进行调查、取证，并根据相关法律法规和政策规定，对违章建筑进行认定和处理。如果当事人对行政部门作出的违建认定或拆除等决定不服，可以在规定期限内依法申请行政复议或者提起行政诉讼。
具体来说，行政复议是向上一级行政机关提出申请，要求重新审查和处理原行政决定。如果当事人对复议决定仍然不服，那么才可以在法定期限内向人民法院提起行政诉讼，由法院对行政部门的执法程序、事实认定以及法律适用等方面进行审查。
因此，对于违章建筑问题，一般应遵循以下处理流程：
综上所述，违章建筑的处理通常先由行政部门进行，当对行政决定不服时，再通过行政复议或诉讼等合法途径来维护自身权益。希望这个解答能够帮助您更好地理解违章建筑的处理流程和相关法律规定。