结论概述：公务员因狂躁症贷款消费，能否退回贷款需视具体情况而定，主要取决于贷款合同的有效性、贷款用途以及公务员的民事行为能力等因素。

1. 贷款合同的有效性

• 合同效力认定：根据《民法典》的相关规定，合同的有效性取决于双方当事人的意思表示是否真实、合同内容是否合法以及是否违反公序良俗。若公务员在贷款时狂躁症未发作，或虽发作但未影响其判断能力，且贷款合同内容合法，那么该合同通常是有效的，贷款难以退回。
• 特殊情况处理：若公务员在贷款时狂躁症发作，导致其无法正确判断贷款行为的后果，且贷款机构在放贷时未尽到合理的审查义务（如未询问贷款人精神状态、未要求提供健康证明等），那么该贷款合同可能因存在欺诈、胁迫或重大误解等情形而被认定为无效或可撤销。在此情况下，公务员或其法定代理人有权请求法院或仲裁机构撤销合同，从而退回贷款。

2. 贷款用途的考量

• 合法用途：若公务员将贷款用于合法、合理的消费或投资，且贷款合同有效，那么贷款通常无法退回。因为贷款机构已经按照合同约定履行了放贷义务，公务员作为借款人也有义务按照合同约定还款。
• 非法用途：若公务员将贷款用于非法活动（如赌博、吸毒等），那么该贷款行为可能因违反法律法规而被认定为无效。在此情况下，公务员不仅可能面临法律责任，而且贷款机构也有权要求其退回贷款。但这种情况较为特殊，且需要具体证据支持。

3. 公务员的民事行为能力

• 完全民事行为能力：若公务员在贷款时具备完全民事行为能力（即能够独立进行民事活动并承担民事责任），那么其贷款行为是有效的，贷款难以退回。
• 限制或无民事行为能力：若公务员因狂躁症被认定为限制或无民事行为能力人，那么其贷款行为可能需要由其法定代理人（如配偶、父母等）代为进行或追认。若法定代理人拒绝追认或贷款行为本身存在瑕疵（如贷款机构未尽审查义务），那么该贷款合同可能被认定为无效或可撤销，从而有可能退回贷款。

4. 实际操作建议

• 收集证据：若公务员认为贷款行为存在瑕疵或无效情形，应首先收集相关证据（如医疗证明、贷款合同、贷款用途证明等），以便在后续的法律程序中证明自己的主张。
• 咨询专业律师：由于贷款纠纷涉及复杂的法律关系和证据规则，建议公务员在处理此类问题时咨询专业律师的意见。律师可以根据具体情况提供针对性的法律建议和解决方案。
• 协商或诉讼：在收集到足够证据后，公务员可以尝试与贷款机构协商解决纠纷。若协商无果，则可以向法院提起诉讼或申请仲裁机构仲裁，以维护自己的合法权益。

总结与提醒：公务员因狂躁症贷款消费能否退回贷款需视具体情况而定。在处理此类问题时，建议公务员首先了解自己的民事行为能力状况、贷款合同的有效性以及贷款用途的合法性等因素，并咨询专业律师的意见。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。