针对您提出的问题，即公职人员非故意领取单位违规发放的补贴，但该公职人员已退休且拒绝返还，我们应当从以下几个方面进行分析和处理：

一、违规发放补贴的性质与责任

首先，需要明确的是，单位违规发放津贴补贴是违反财经纪律和收入分配秩序的行为。根据《违规发放津贴补贴行为适用〈中国共产党纪律处分条例〉若干问题的解释》，违规发放的津贴补贴包括国家统一规定的津贴补贴、工作性津贴、生活性补贴、离退休人员补贴、改革性补贴以及奖金、实物、有价证券等。对于违规发放的行为，相关责任人员（包括负有领导责任和直接责任的人员中的共产党员）将依照《中国共产党纪律处分条例》的相关规定被追究责任。

二、公职人员领取违规补贴的责任

1. 非故意领取：如果公职人员是在不知情或非故意的情况下领取了违规发放的补贴，这并不意味着他们可以完全免除责任。然而，在处理时，可以考虑其主观意图和实际情况，采取更为温和或教育性的措施。

2. 已退休的情况：公职人员退休后，其人事关系和工资关系通常已与原单位脱离。但这并不意味着他们可以保留违规领取的补贴。退休并不改变其之前行为的性质，也不免除其应承担的责任。

三、处理建议

1. 沟通与教育：

   • 首先，应尝试与退休公职人员进行沟通，解释违规发放补贴的性质和后果，以及他们应承担的责任。
   • 通过教育，引导他们认识到返还违规补贴的重要性，并鼓励他们主动配合返还工作。

2. 法律与纪律手段：

   • 如果沟通无果，且退休公职人员坚持拒绝返还违规补贴，原单位或相关部门可以依据《中国共产党纪律处分条例》及相关法律法规，采取进一步的法律或纪律手段。
   • 这可能包括向退休公职人员发出正式通知，要求其限期返还违规补贴；或者通过法律途径，如提起民事诉讼，要求其返还。

3. 公开通报与信用记录：

   • 在必要时，可以考虑对违规领取并拒绝返还补贴的退休公职人员进行公开通报，以维护财经纪律和收入分配秩序的严肃性。
   • 同时，可以将此行为记录在其个人信用记录中，作为对其未来行为的一种约束和警示。

四、预防措施

为了避免类似情况的再次发生，原单位应加强内部管理，完善津贴补贴发放制度，确保所有发放行为都符合法律法规和财经纪律的要求。同时，还应加强对公职人员的培训和教育，提高他们的法律意识和纪律观念。

综上所述，对于公职人员非故意领取单位违规发放的补贴且已退休拒绝返还的情况，应通过沟通与教育、法律与纪律手段以及公开通报与信用记录等方式进行处理，并采取预防措施以避免类似情况的再次发生。