结论：行政单位加班时可以购买副食，但需符合相关财务制度和规定。

1. 从财务制度角度分析
   行政单位使用财政资金时，需严格遵守《中华人民共和国预算法》《行政单位财务规则》等规定。若购买副食属于加班期间的合理开支（如为保障加班人员饮食需求），且符合单位内部财务管理制度中关于“公务接待费”“差旅费”或“其他商品和服务支出”等科目的使用范围，则可依法报销。但需注意：

   • 需提供合法票据（如发票）；
     
   • 需注明用途（如“加班餐费”）；
     
   • 金额需符合当地财政部门规定的标准（如单次人均不超过XX元）。

2. 从合规性角度分析
   若购买副食的行为涉及以下情形，则可能违规：

   • 超标准支出：如购买高档食品或超出财政规定的餐费标准；
     
   • 无依据支出：未在单位预算中列支，或未履行审批程序；
     
   • 变相福利：将加班餐费转化为个人福利（如发放购物卡）。
     此类行为可能违反《财政违法行为处罚处分条例》，需承担行政责任。

3. 实践建议

   • 事前审批：加班前通过单位内部流程申请餐费支出，明确预算和标准；
     
   • 票据规范：保留完整票据，注明时间、人数、事由；
     
   • 避免混淆：区分公务接待与加班餐费，防止财务科目混用。

总结：行政单位加班购买副食的合法性取决于是否符合财务制度、预算安排及合规要求。建议单位制定明确的加班餐费标准，并严格履行审批和报销程序。如有具体案例或地区政策疑问，可进一步向我咨询。