十年以前虚开非增值税发票是违法的。以下从不同角度进行分析：
法律适用原则
根据我国《立法法》关于法律溯及力的规定，违法行为以行为发生时的法律为准进行认定。十年前虚开发票的行为，需依据当时有效的《中华人民共和国发票管理办法》（2010年修订前版本）及《刑法》相关规定判断。即使现行法律已修订，仍不影响对历史行为的违法性认定。
具体法律条款
- 行政违法性：原《发票管理办法》第二十五条明确规定”任何单位和个人不得转借、转让、介绍他人转让发票…不得虚开发票”，第三十六条对虚开发票行为设定了行政处罚（如罚款、没收违法所得等）。
- 刑事违法性：若虚开行为符合《刑法》第二百零五条之一（虚开发票罪）构成要件（如虚开税款数额1万元以上或致使国家税款损失5000元以上），即使十年前刑法未明确”虚开发票罪”（该罪名于2011年《刑法修正案八》增设），但若行为同时符合诈骗罪、逃税罪等罪名构成要件，仍可能被追究刑事责任。
追诉时效问题
- 行政处罚时效：根据《行政处罚法》第三十六条，违法行为在二年内未被发现的不再给予行政处罚，但涉及公民生命健康安全、金融安全且有危害后果的，追诉期延长至五年。
- 刑事追诉时效：根据《刑法》第八十七条，法定最高刑为不满五年有期徒刑的，追诉期为五年；若十年前的虚开行为可能判处五年以上有期徒刑，则追诉期为十年至十五年。需结合具体涉案金额、情节判断是否已过追诉期。
建议：若涉及具体案件，需结合行为发生时的法律条文、行为性质、金额、后果及追诉时效等综合判断。如有进一步疑问，可直接向我咨询相关法律问题。