结论：工作群晚上十一点的消息，从法律层面讲，您并非必须回复，但具体是否回复还需结合您与用人单位的约定、工作性质以及公司规章制度等因素来综合判断。
详细分析：
法律层面的一般规定：
- 根据《中华人民共和国劳动法》及相关规定，劳动者享有休息休假的权利。在非工作时间，劳动者有权拒绝用人单位的工作安排，包括回复工作群的消息，除非该消息属于紧急情况或双方有特别约定。
- 晚上十一点通常属于劳动者的休息时间，除非您的劳动合同或公司规章制度中有明确规定，要求在此时间段内必须回复工作消息，否则您有权选择不回复。
与用人单位的约定：
- 如果您与用人单位在劳动合同中明确约定了非工作时间的回复义务，或者公司规章制度中有相关规定，那么您可能需要遵守这些约定或规定。但即便如此，如果约定或规定违反了法律法规的强制性规定，如侵犯了您的休息权，那么这些约定或规定也是无效的。
工作性质的特殊性：
- 如果您的工作性质特殊，如需要24小时待命或处理紧急事务，那么晚上十一点回复工作消息可能成为您工作的一部分。在这种情况下，您可能需要与用人单位协商，明确非工作时间的回复范围和条件，以保障您的合法权益。
公司规章制度的影响：
- 公司规章制度是用人单位管理劳动者的重要依据。如果公司规章制度中明确规定了非工作时间的回复义务，并且该规定不违反法律法规的强制性规定，那么您可能需要遵守。但同样，如果规章制度侵犯了您的合法权益，您有权提出异议或寻求法律救济。
建议：
- 与用人单位沟通：如果您对晚上十一点回复工作消息有疑虑或不满，建议与用人单位进行沟通，明确双方的权利和义务。
- 审查劳动合同和规章制度：仔细审查您的劳动合同和公司规章制度，了解其中关于非工作时间回复工作消息的规定，确保自己的权益不受侵犯。
- 保留证据：如果用人单位要求您在非工作时间回复工作消息，并且您认为这侵犯了您的休息权，建议保留相关证据，如聊天记录、工作安排等，以备不时之需。
可能后果：
- 如果您选择不回复工作群的消息，并且没有违反与用人单位的约定或公司规章制度，那么通常不会承担法律责任。
- 如果您违反了与用人单位的约定或公司规章制度，并且该约定或规定不违反法律法规的强制性规定，那么您可能需要承担相应的违约责任或受到公司的纪律处分。
如有更多疑问或需要进一步的法律帮助，请随时向我咨询。