您好，关于取消服刑人员退休待遇的决定部门，这通常是由相关的社会保险经办机构来作出的。具体来说，当退休人员因触犯刑律而被判刑时，其退休待遇的暂停或取消会依据一系列的政策和规定来执行。

首先，我们需要明确的是，退休人员被判刑后，其养老金的发放会受到影响。这一原则在多个政策文件中都有明确规定，例如《国务院关于颁发〈国务院关于安置老弱病残干部的暂行办法〉和〈国务院关于工人退休，退职的暂行办法〉的通知》(国发〔1978〕104号)以及后续的相关复函和通知中，都对此进行了详细说明。

在实际操作中，当退休人员被判刑后，其所在地的社会保险经办机构（如县社保机构）会依据这些政策文件，停止为其发放养老保险待遇。这一决定并非由单一部门作出，而是基于整个社会保险体系的政策和规定，由负责具体经办的社会保险机构来执行。

此外，对于不同类型的退休人员（如企业离退休人员、机关事业单位退休人员等），虽然其养老保险制度的具体规定可能有所不同，但在被判刑后退休待遇的处理上，都遵循了相似的原则和程序。

因此，如果您或您身边的人遇到此类情况，建议及时与当地的社会保险经办机构联系，了解具体的政策规定和办理流程。他们将会根据您的具体情况，提供详细的解答和指导。