结论：电信部门以协议为由不退来电显示费用是否合理，需根据具体情况判断，包括协议内容、费用性质、消费者权益保护规定以及是否存在格式条款等。以下从不同角度进行分析：

1. 协议内容与费用性质

   • 协议明确约定：如果用户与电信部门签订的协议中明确约定了来电显示费用的收取及不退还条款，且该条款不违反法律法规的强制性规定，那么电信部门不退还费用在合同层面可能是合理的。但需注意，协议内容必须合法、公平、合理，不得损害消费者的合法权益。
   • 费用性质：来电显示费用通常被视为电信服务的一部分，如果电信部门在提供服务时已经明确告知用户该费用为服务费且不退还，且用户同意并接受了该服务，那么电信部门不退还费用在费用性质上可能是合理的。然而，如果费用被不合理地收取或未明确告知用户，则可能构成不当得利或欺诈。

2. 消费者权益保护

   • 知情权：根据《中华人民共和国消费者权益保护法》，消费者享有知悉其购买、使用的商品或者接受的服务的真实情况的权利。如果电信部门在收取来电显示费用时未明确告知用户该费用不退还，或者未在协议中明确约定，那么电信部门的行为可能侵犯了消费者的知情权。
   • 公平交易权：消费者在购买商品或接受服务时，有权获得质量保障、价格合理、计量正确等公平交易条件。如果电信部门收取的来电显示费用不合理，或者不退还费用的条款显失公平，那么电信部门的行为可能违反了消费者的公平交易权。

3. 格式条款的效力

   • 格式条款的定义：格式条款是当事人为了重复使用而预先拟定，并在订立合同时未与对方协商的条款。如果电信部门与用户签订的协议中的不退还来电显示费用条款属于格式条款，那么该条款的效力可能受到限制。
   • 格式条款的无效情形：根据《中华人民共和国民法典》的相关规定，提供格式条款一方不合理地免除或者减轻其责任、加重对方责任、限制对方主要权利，或者提供格式条款一方排除对方主要权利的，该格式条款无效。如果电信部门的不退还来电显示费用条款存在上述情形，那么该条款可能被认定为无效。

4. 实际操作建议

   • 审查协议：用户应仔细审查与电信部门签订的协议，特别是关于来电显示费用的收取及不退还条款，确保自己了解并同意相关条款。
   • 与电信部门协商：如果用户认为电信部门不退还来电显示费用不合理，可以尝试与电信部门协商解决。在协商过程中，用户可以提出自己的诉求和理由，争取达成双方都能接受的解决方案。
   • 寻求法律援助：如果协商无果，用户可以向当地消费者协会或相关监管部门投诉，或者寻求法律援助，通过法律途径维护自己的合法权益。

总结与建议：电信部门以协议为由不退来电显示费用是否合理，需根据具体情况判断。用户应仔细审查协议内容，了解自己的权益和义务。如果认为电信部门的行为不合理或侵犯了自己的权益，可以尝试与电信部门协商解决或寻求法律援助。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。