集体晒谷场不属于建设用地，而属于设施农业用地。具体分析如下：

1. 设施农业用地的定义：

   • 根据相关规定，设施农业用地是指农业生产中直接用于作物种植和畜禽水产养殖的设施用地。这包括生产设施用地以及与生产直接关联的辅助设施用地。
   • 辅助设施用地中明确提到了“与生产农产品直接关联的烘干晾晒”等设施用地，因此晒谷场作为晾晒农产品的场所，应归类为设施农业用地。

2. 建设用地与设施农业用地的区别：

   • 建设用地通常指的是用于建筑物、构筑物等建设的土地，需要办理建设用地审批手续。
   • 设施农业用地则是为了农业生产需要而使用的土地，其用地性质和审批流程与建设用地有所不同。

3. 相关法规支持：

   • 从提供的公域知识中可以看到，有具体的案例（如吴江区黎里镇港南村晒谷场项目）表明晒谷场是按照设施农业用地进行备案和管理的。
   • 同时，相关法规也明确规定了设施农业用地的使用范围和管理要求，并未将其归类为建设用地。

综上所述，集体晒谷场作为农业生产中的辅助设施用地，应归类为设施农业用地而非建设用地。如需进一步了解或咨询相关问题，请随时向我提问。