利用闲置土地做体育设施是否违法，取决于多个因素，包括土地的性质、用途管制要求以及是否办理了相关审批手续。

1. 土地性质与用途管制：

   • 如果闲置土地是农用地，且根据当地的村庄规划或土地利用总体规划，该土地并未被划分为建设用地或允许建设区，那么未经批准擅自改变土地用途，建设体育设施是违法的。
   • 如果闲置土地已经是建设用地，或者根据规划可以被调整为建设用地，并且符合当地的用途管制要求，那么建设体育设施在理论上是可行的，但仍需办理相关的审批手续。

2. 审批手续：

   • 无论土地性质如何，建设体育设施都需要向当地土地行政主管部门或相关部门提交申请，并办理建设用地规划许可证、建设工程规划许可证等审批手续。
   • 如果未办理相关审批手续，即使土地性质允许建设，也是违法的。

3. 实际案例：

   • 以司新明非法占地建设案为例，司新明未经批准擅自占用集体土地建设健身器材厂房和水泥场地等设施，最终被土地行政主管部门处以退还非法占用的土地、拆除违法建筑并罚款的处罚。

综上所述，利用闲置土地做体育设施并非简单的合法或违法问题，而是需要根据土地的性质、用途管制要求以及是否办理了相关审批手续来综合判断。如果你有相关的土地和建设需求，建议咨询当地的土地行政主管部门或相关部门，了解具体的政策要求和审批流程，并确保按照法定程序进行申请和审批。