结论前置：社区工作者的辞退主体并非单一，主要取决于其与哪个主体建立了劳动关系或聘用关系，一般来说，可能是街道办事处、乡镇人民政府或社区居委会（在特定情况下），但具体还需根据实际情况和当地规定来判断。
详细分析：
街道办事处或乡镇人民政府：
- 在许多地区，社区工作者是由街道办事处或乡镇人民政府直接招聘和管理的。他们与这些政府机构签订劳动合同，建立劳动关系。因此，在这种情况下，街道办事处或乡镇人民政府有权根据相关法律法规和劳动合同的规定，对社区工作者进行辞退。
- 辞退时，必须遵循法定程序，如提前通知、支付经济补偿等，以确保社区工作者的合法权益不受侵害。
社区居委会（在特定情况下）：
- 社区居委会是居民自我管理、自我教育、自我服务的基层群众性自治组织。在某些地区，社区工作者可能由社区居委会直接招聘和管理，尤其是在一些社区自治程度较高的地方。
- 如果社区工作者与社区居委会建立了聘用关系（而非劳动关系），那么社区居委会在符合相关法律法规和聘用合同规定的情况下，也有权对社区工作者进行辞退。但这种情况相对较少，且辞退程序可能因地区而异。
其他情况：
- 在某些特殊情况下，如社区工作者存在严重违纪行为、违法犯罪行为或无法胜任工作等，无论其与哪个主体建立了劳动关系或聘用关系，都可能面临被辞退的风险。
- 此外，如果社区工作者的劳动合同或聘用合同中有特别约定，如达到一定年龄或工作年限后自动终止合同等，那么在这些约定条件下，社区工作者也可能被辞退。
法律建议：
- 对于社区工作者而言，了解自己与哪个主体建立了劳动关系或聘用关系至关重要。这有助于他们明确自己的权益和义务，以及在被辞退时寻求法律援助的途径。
- 如果社区工作者面临被辞退的情况，他们应首先查看自己的劳动合同或聘用合同，了解辞退的具体条件和程序。如果认为辞退决定不合法或不合理，他们可以向当地劳动监察部门投诉或申请劳动仲裁。
- 对于街道办事处、乡镇人民政府或社区居委会等辞退主体而言，他们应严格遵守相关法律法规和劳动合同或聘用合同的规定，确保辞退程序的合法性和合理性。否则，他们可能面临法律责任和声誉损失。
可能法律后果：
- 如果辞退主体未按照法定程序或合同约定辞退社区工作者，社区工作者有权要求继续履行合同、支付经济补偿或赔偿金等。
- 如果辞退行为构成违法解除劳动合同或聘用合同，辞退主体还可能面临行政处罚或民事赔偿等法律责任。