供热稽查在执行其职责时，确实具备一定的执法权限，但这一权限的具体范围和行使方式需依据相关法律法规及地方性规章来确定。

首先，从供热稽查的工作内容来看，它涉及对供热单位的全面检查，这包括但不限于供暖设备的维护情况、供热系统的运行状态以及安全巡检制度的执行情况等。这些检查工作是为了确保供热单位遵守相关法规，保障供热质量，维护公众利益。

在检查过程中，如果供热稽查人员发现供热单位存在违法行为，如未办理备案手续且逾期不改正，他们有权进行立案调查。在调查过程中，稽查人员会出示执法身份证件，表明执法身份，并依法调查和保存证据。这一环节体现了供热稽查的执法权限，即他们有权对违法行为进行调查取证。

进一步地，在作出行政处罚前，供热稽查部门会告知当事人作出行政处罚决定的事实、理由及依据，并告知当事人依法享有的权利。这是程序公正的重要体现，也是执法权限的一部分。最终，如果案件调查终结后，报请行政机关负责人对案件进行全面审查，并认为主体准确、事实清楚、证据确凿、程序合法、法律适用准确、裁量得当的，供热稽查部门将依法作出行政处罚。

此外，从实际案例来看，如市局执法总队启动采暖季供热专项执法保障工作，对供暖单位开展供热专项执法检查，并查处各类违法违规行为，这也进一步证明了供热稽查具备执法权限，并能够在实际工作中行使这一权限。

综上所述，供热稽查在执行其职责时，确实具备一定的执法权限，包括对供热单位的检查、立案调查、取证以及依法作出行政处罚等。但这一权限的行使需严格遵循相关法律法规及地方性规章，确保程序公正、合法合规。