结论前置：针对信用卡年费扣580元不退的问题，您可以首先尝试与银行协商解决；若协商无果，可考虑通过投诉或法律途径来维护自身权益。以下是对此问题的详细分析：

一、与银行协商

1. 协商基础：

   • 信用卡年费是银行为提供信用卡服务而收取的费用，通常会在信用卡合同中明确约定。若您认为年费收取不合理或存在误解，可以与银行进行协商。

2. 协商内容：

   • 您可以向银行说明情况，如未使用信用卡、年费收取未提前告知等，请求银行减免或退还年费。
   • 银行可能会根据您的信用记录、消费情况等因素，考虑给予一定的减免或优惠。

3. 协商技巧：

   • 保持冷静和礼貌，清晰表达自己的诉求和理由。
   • 提供相关证据，如信用卡合同、消费记录等，以支持自己的主张。
   • 听取银行的解释和意见，寻求双方都能接受的解决方案。

二、投诉途径

1. 向银行投诉：

   • 若协商无果，您可以向银行客服部门或投诉部门提出正式投诉，要求银行对年费问题进行调查和处理。

2. 向监管机构投诉：

   • 若银行未给予合理回应或处理，您可以向相关金融监管机构（如银保监会）进行投诉，寻求监管机构的帮助和干预。

三、法律途径

1. 法律依据：

   • 根据《中华人民共和国消费者权益保护法》的相关规定，消费者享有知情权、选择权、公平交易权等基本权利。若银行未提前告知年费收取情况或存在其他违规行为，您有权通过法律途径维护自身权益。

2. 法律程序：

   • 您可以考虑向法院提起民事诉讼，要求银行退还年费并承担相应法律责任。
   • 在诉讼过程中，您需要提供相关证据，如信用卡合同、消费记录、投诉记录等，以证明自己的主张。

3. 法律后果：

   • 若法院认定银行存在违规行为，可能会判决银行退还年费并承担相应赔偿责任。
   • 若法院认定您的主张不成立，则您可能需要承担诉讼费用等法律后果。

四、其他建议

1. 了解信用卡合同：

   • 在使用信用卡前，务必仔细阅读信用卡合同，了解年费收取标准、免年费条件等相关条款。

2. 合理使用信用卡：

   • 根据自身消费需求和还款能力，合理使用信用卡，避免产生不必要的费用。

3. 保留相关证据：

   • 在与银行协商、投诉或诉讼过程中，务必保留好相关证据，以备不时之需。

最后，针对信用卡年费扣580元不退的问题，建议您首先尝试与银行协商解决；若协商无果，可考虑通过投诉或法律途径来维护自身权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。