针对您提出的“如何认定划拨土地上的建筑物是不是违法建筑”这一问题，以下是我为您提供的详细解答：
一、违法建筑认定的基本法律依据
违法建筑的认定主要依据《中华人民共和国城乡规划法》、《中华人民共和国土地管理法》等相关法律法规。这些法律条文明确规定了建筑活动的合法性和合规性要求，为违法建筑的认定提供了明确的法律依据。
二、划拨土地上建筑物违法性的认定标准
对于划拨土地上的建筑物，其违法性的认定主要依据以下几个方面：
规划许可情况：
- 建筑物是否依法取得了建设工程规划许可证。若未取得此证或未按照许可证规定的内容进行建设，如擅自改变建筑物的使用性质、扩大建设规模等，均可能被视为违法建筑。
- 特别地，对于划拨土地，还需关注土地使用权出让合同或划拨决定书中是否对建筑用途、高度、面积等有特定限制。若实际建筑违反了这些条件，也将被视为违法建筑。
土地用途管制：
- 建筑物是否违反了土地管理法中关于土地用途管制的规定。例如，将划拨用于公共设施建设的土地擅自改为商业用途进行建设，即违反了土地用途管制，所建建筑可能被认定为违法建筑。
临时建筑管理：
- 若建筑物为临时建筑，需关注其是否超过了批准的使用期限。超过期限未拆除的临时建筑，同样会被认定为违法建筑。
其他违法情形：
- 包括但不限于通过伪造相关材料骗取许可证而建成的建筑物、擅自改建、翻建、扩建的建筑、擅自改动设计图纸施工的建筑等。
三、认定主体与程序
认定主体：
- 在城市规划区内，主要由城市、县人民政府城乡规划主管部门负责违法建筑的认定工作。
- 在乡、村庄规划区内，则由乡、镇人民政府承担认定职责。
认定程序：
- 相关部门将进行实地调查和审查，综合考虑建筑物的合法性、合规性以及是否符合城市规划等相关要求。
- 在认定过程中，相关部门将依据上述法律依据和认定标准进行严格判断，并据此作出处理决定。
四、特殊情况下的考量
- 对于划拨土地上的建筑物，还需特别关注其是否符合划拨土地的使用条件和限制。例如，若划拨土地明确用于建设公共设施，而实际却建设了商业建筑，则显然违反了划拨土地的使用条件，所建建筑可能被认定为违法建筑。
五、法律后果与处理措施
- 对于被认定为违法建筑的建筑物，城乡规划主管部门有权责令停止建设、限期改正或拆除，并可处以罚款。
- 若当事人不停止建设或逾期不拆除，县级以上地方人民政府可责成相关部门采取强制措施，如查封施工现场、强制拆除等。
总结：划拨土地上的建筑物是否违法建筑，需依据相关法律法规、规划许可情况、土地用途管制、临时建筑管理以及其他违法情形进行综合判断。在实际操作中，相关部门将进行实地调查和审查，并依据严格的标准和程序作出认定和处理决定。因此，对于建筑方而言，确保建筑活动的合法性和合规性是避免被认定为违法建筑的关键。