结论：公司辞退所有人却留下几个干部的行为是否合法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
合法辞退的情况：
- 经济性裁员：如果公司因经营困难等原因需要裁员，且符合《劳动合同法》第四十一条规定的经济性裁员条件（如依照企业破产法规定进行重整的、生产经营发生严重困难的等），那么公司可以依法进行裁员。在此情况下，公司选择辞退部分员工而保留部分干部，若符合裁员程序和条件，且未违反法律对特定群体的保护（如不得裁减孕期、产期、哺乳期的女职工等），则可能是合法的。
- 员工过错：如果被辞退的员工存在严重违反公司规章制度、严重失职、营私舞弊给公司造成重大损害等情形，公司有权依据《劳动合同法》第三十九条的规定解除劳动合同。在此情况下，公司辞退有过错的员工而保留无过错的干部，是合法的。
可能违法的情况：
- 歧视性辞退：如果公司辞退员工的行为基于性别、年龄、种族、宗教信仰等非法歧视性原因，或者仅因员工属于某一特定群体（如非干部员工）而辞退，则可能构成违法辞退。在此情况下，公司留下干部而辞退其他员工，若存在歧视性因素，则是不合法的。
- 未履行法定程序：即使公司符合经济性裁员的条件，也需按照法定程序进行，如提前三十日向工会或者全体职工说明情况、听取工会或者职工的意见、向劳动行政部门报告等。如果公司未履行这些法定程序而直接辞退员工，则可能构成违法辞退。
- 违反特定群体保护：如果公司辞退的员工中包含法律保护的特定群体（如孕期、产期、哺乳期的女职工、在本单位患职业病或者因工负伤并被确认丧失或者部分丧失劳动能力的职工等），且未按照法律规定给予相应的待遇或补偿，则可能构成违法辞退。
法律建议：
- 如果您认为公司的辞退行为存在违法情形，您可以先与公司协商，要求公司说明辞退理由并出示相关证据。
- 如果协商无果，您可以向当地劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
- 在申请劳动仲裁时，您需要提供相关证据证明公司的辞退行为违法，如劳动合同、工资单、辞退通知、公司规章制度等。
可能后果：
- 如果公司的辞退行为被认定为违法，您有权要求公司继续履行劳动合同或者支付赔偿金。
- 赔偿金的标准通常按照您在公司的工作年限和月工资来计算，具体数额需根据实际情况确定。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。