香堂是否算违建，不能一概而论，需要结合具体情况来判断。以下是从不同角度进行的分析：
规划与审批角度：
- 如果香堂的建设经过了相关部门的规划审批，并取得了合法的建设许可证，那么它就不属于违建。
- 反之，如果香堂的建设未经规划审批，或者虽然经过了审批但违反了审批内容（如超出了批准的建筑面积、高度等），那么它就可能构成违建。
历史遗留问题角度：
- 在一些地区，可能存在历史遗留的违建问题，这些建筑可能由于历史原因（如早期规划不完善、管理不严格等）而得以存在。对于这类建筑，政府可能会根据实际情况制定相应的处理政策，如补办手续、罚款保留或限期拆除等。
- 如果香堂属于这类历史遗留问题建筑，那么其是否算违建以及如何处理，就需要根据当地政府的政策来确定。
政策执行与调研角度：
- 从您提供的公域知识中，我们可以看到政府对于违建问题的态度是明确的，即要加快“基本无违建镇”的创建工作，对涉及图斑的违建坚决拆除。
- 如果香堂被政府列为违建点位，并在调研中被指出需要整改或拆除，那么它无疑就是违建。
法律建议：
- 如果您对香堂是否算违建存在疑问，建议您首先查阅相关的规划审批文件，了解香堂的建设是否经过了合法审批。
- 如果无法获取相关文件，或者对文件内容存在疑问，您可以向当地规划部门或城管部门咨询，了解香堂的具体情况。
- 如果香堂确实属于违建，且您作为相关权益人（如业主、使用者等）受到了影响，那么您需要关注政府的处理政策，并根据政策要求采取相应的行动（如补办手续、配合拆除等）。
可能的法律后果：
- 如果香堂被认定为违建，且未按照政府要求进行整改或拆除，那么可能会面临罚款、强制拆除等法律后果。
- 作为相关权益人，如果因违建问题而遭受了损失（如财产损失、人身伤害等），您还可以依法追究相关责任人的法律责任。
希望以上分析能够对您有所帮助。如果您还有其他疑问或需要进一步的法律咨询，请随时向我提问。