街道直接辞退社区工作者是否违法，取决于双方是否存在劳动关系以及解除劳动关系的具体情形，且必须遵循相关法律法规及程序。以下从不同角度进行分析：
一、劳动关系判定
存在劳动关系：
- 若社区工作者与街道签订了劳动合同，则街道作为用人单位，享有法定的劳动合同解除权。但解除必须依法进行，不能随意辞退。
不存在直接劳动关系：
- 若社区工作者与社区或其他主体存在劳动关系或人事关系，街道通常不是直接管理和用人主体，无权直接开除。但街道可以通过合法途径，如建议或要求相关主体处理，间接影响社区工作者的去留。
非雇佣性质参与：
- 对于基于志愿者等非雇佣性质参与社区工作的人员，街道不能以“开除”形式解除工作安排。这类人员的工作关系通常基于志愿服务协议或社区规定，解除应依据这些规定或协议进行。
二、街道作为用人单位的解除权
法定解除情形：
- 协商一致解除：根据《劳动合同法》第三十六条，街道与社区工作者可协商一致解除劳动合同。
- 法定过错解除：依据《劳动合同法》第三十九条，若社区工作者存在严重违反规章制度、失职营私舞弊等情形，街道有权解除劳动合同。
- 法定无过错解除：根据《劳动合同法》第四十条、第四十一条，在特定情况下（如患病不能工作、客观情况变化导致合同无法履行等），街道可提前通知并支付经济补偿后解除劳动合同；或因经济性裁员需要，经法定程序后可裁减人员。
违法解除后果：
- 若街道无故或违法解除与社区工作者的劳动合同，需按照《劳动合同法》第八十七条，支付相当于经济补偿标准二倍的赔偿金。
三、街道开除社区工作者的程序与保障
提前通知：
- 街道在决定开除前，应提前以书面形式通知社区工作者，并明确告知辞退原因。这是保障社区工作者知情权的重要步骤。
支付经济补偿：
- 在符合法定无过错解除或经济性裁员等情形下，街道需按法律规定支付经济补偿金。经济补偿金的计算通常依据社区工作者在街道的工作年限和工资水平。
遵循法定程序：
- 街道在解除劳动合同时，必须遵循法定程序，如提前通知、听取工会或职工意见、向劳动行政部门报告等。这些程序旨在保护社区工作者的合法权益，避免街道滥用解除权。
权益保障：
- 社区工作者享有工资、社会保险等合法权益，街道应积极保障。若认为街道辞退行为违法或不合理，社区工作者有权通过劳动仲裁或诉讼等途径维权。
四、具体建议
对于社区工作者：
- 若认为街道的辞退行为违法或不合理，应及时收集证据，如劳动合同、工资单、辞退通知等，以便在劳动仲裁或诉讼中维护自己的权益。
- 可以咨询专业律师，了解自己的法律权益和维权途径。
对于街道：
- 在解除与社区工作者的劳动合同时，应严格遵守相关法律法规和程序，确保解除行为的合法性和合理性。
- 应积极与社区工作者沟通，解释辞退原因和依据，避免不必要的法律纠纷。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供详细的法律建议和帮助。