退休返聘人员单位不可以随时辞退。具体分析如下：

1. 合同约束力：

   • 退休返聘人员与用人单位之间建立的是劳务关系，而非劳动关系。但这种劳务关系同样受到双方签订的劳务合同的约束。
   • 如果劳务合同中明确约定了辞退条件、程序及经济补偿等内容，那么用人单位在符合这些条件时，可以依据合同约定辞退退休返聘人员，并支付相应的经济补偿（如果合同中有此约定）。

2. 不能随意辞退：

   • 在没有正当理由或未依据劳务合同约定的情况下，用人单位不能随意辞退退休返聘人员。
   • 如果用人单位无故辞退退休返聘人员，可能构成违约，需要承担相应的违约责任，如赔偿因违约给退休返聘人员造成的经济损失。

3. 法律依据：

   • 虽然《中华人民共和国劳动合同法》主要规范的是劳动关系，但对于退休返聘人员这种劳务关系，其辞退也应遵循合同法和相关民事法律的规定。
   • 在具体操作中，应参照劳务合同的约定以及相关法律法规的规定来处理辞退问题。

综上所述，退休返聘人员单位不可以随时辞退，而应根据劳务合同的约定和相关法律法规的规定来处理辞退问题。如果用人单位有辞退退休返聘人员的需要，应首先查看劳务合同中是否有相关约定，并遵循合同约定的程序进行操作。如果合同中没有明确约定或约定不明确，应咨询专业律师或法律机构以获取更准确的法律意见。