结论：能否起诉要回20%的服务费，需结合服务费性质、合同约定及法律规定综合判断，以下分情况说明：

1. 若服务费属于变相高利贷（超出法定利率上限）
   根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，民间借贷利率司法保护上限为合同成立时一年期LPR的四倍（目前约15.4%）。若20%的服务费与利息合并计算后超过该上限，超出部分不受法律保护，可主张返还。
   操作建议：收集贷款合同、转账记录等证据，以“高利贷”为由起诉要求返还超额部分，法院可能支持调整或返还。

2. 若服务费为合法中介费或手续费（未超出合理范围）
   若机构提供了实质性服务（如贷款咨询、资料审核、协助办理等），且合同明确约定服务费金额及支付条件，且费用未显著高于市场同类服务价格，则可能被认定为合法收费。此时起诉要求返还的难度较大。
   例外情形：若机构存在欺诈（如虚构服务内容）、未履行合同义务（如未成功放款）或违反《消费者权益保护法》中“公平交易权”规定（如强制搭售服务），仍可主张返还。

3. 若服务费属于“砍头息”或违规收费
   根据《民法典》第六百七十条，禁止预先在本金中扣除利息（即“砍头息”）。若服务费以“手续费”“管理费”等名义变相扣除本金，实际放款金额低于合同约定，可主张按实际借款金额返还利息及服务费，并要求返还多收部分。

行动建议：

1. 立即整理贷款合同、转账记录、服务内容证明等材料；
   
2. 计算实际年化利率（含服务费），对比法定上限；
   
3. 若发现违规情形，可向当地金融监管部门投诉或直接向法院起诉，主张返还违法收费部分。
   

提示：贷款纠纷涉及合同、金融法规等多重法律关系，建议根据具体证据材料进一步分析。如有疑问，可直接向我提供合同细节，我将协助评估诉讼可行性。