收了别人的代理费但代理不作为，不能简单地不退代理费。针对这一问题，我们需要从法律角度进行分析：

一. 代理关系的法律性质

1. 代理合同的成立：根据《民法典》的相关规定，代理关系通常通过代理合同来确立。代理合同是委托人和代理人之间约定，由代理人以委托人的名义和费用为委托人办理事务的合同。
2. 代理人的义务：代理人有义务按照委托人的指示处理事务，并尽到善良管理人的注意义务。如果代理人未履行或未完全履行其义务，则构成违约。

二. 代理人不作为的法律后果

1. 违约责任：根据《民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，如果代理人不作为，委托人有权要求其承担违约责任。
2. 代理费的退还：在代理人不作为的情况下，委托人通常有权要求退还部分或全部代理费。具体退还金额应根据代理合同的约定、代理人的实际履行情况以及委托人的损失程度来确定。

三. 不退代理费的法律风险

1. 违法性：如果代理人无正当理由拒绝退还代理费，将构成不当得利，甚至可能触犯刑法中的侵占罪。
2. 法律诉讼：委托人可以通过法律途径追究代理人的责任，包括提起诉讼要求退还代理费并赔偿损失。

综上所述，收了别人的代理费但代理不作为时，不能简单地不退代理费。委托人应根据代理合同的约定和法律规定，要求代理人承担违约责任并退还部分或全部代理费。如果代理人拒绝退还，委托人可以通过法律途径维护自己的合法权益。我建议你在处理此类纠纷时，先与代理人进行协商，协商不成再考虑通过法律途径解决。如有进一步需要，您可以继续咨询我。