用人单位以严重违规单方面解除劳动合同，可能败诉的点主要包括以下几个方面：
违规事实的认定问题：
- 证据不足：用人单位主张劳动者严重违规，必须提供充分的证据来证明。如果证据不足，如仅有口头陈述而无书面记录、监控录像等客观证据，或者证据之间存在矛盾，无法形成完整的证据链，那么用人单位的主张可能不会被仲裁机构或法院采纳。
- 事实不清：即使用人单位提供了一定的证据，但如果这些证据无法清晰、准确地证明劳动者确实存在严重违规行为，或者违规行为的性质、程度等关键要素存在争议，也可能导致用人单位败诉。
规章制度的有效性及适用性问题：
- 规章制度未公示或未告知劳动者：根据《劳动合同法》的相关规定，用人单位的规章制度必须经过民主程序制定，并向劳动者公示或告知。如果用人单位未能履行这一程序，或者规章制度的内容与法律法规相抵触，那么该规章制度可能被视为无效，用人单位依据无效规章制度解除劳动合同，自然可能败诉。
- 规章制度适用不当：即使规章制度有效，但如果用人单位在解除劳动合同时未能正确适用，如将一般违规行为视为严重违规行为，或者对同一违规行为适用不同的处罚标准，也可能导致败诉。
解除程序的合法性问题：
- 未履行告知义务：用人单位在解除劳动合同时，必须事先将理由通知工会（如有工会），并听取工会的意见。如果用人单位未履行这一程序，或者未将解除劳动合同的决定告知劳动者本人，那么解除行为可能被视为违法。
- 未出具解除证明：根据《劳动合同法》的规定，用人单位在解除劳动合同时，应当向劳动者出具解除劳动合同的证明。如果用人单位未出具或出具的证明内容不真实、不完整，也可能引发劳动争议，导致败诉。
违规行为与解除劳动合同之间的因果关系问题：
- 违规行为与解除劳动合同无直接关联：即使劳动者存在违规行为，但如果该行为与用人单位解除劳动合同的决定之间无直接关联，或者违规行为并非用人单位解除劳动合同的主要原因，那么用人单位的主张可能不会被支持。
- 违规行为情节轻微，不足以解除劳动合同：对于某些情节轻微的违规行为，如果用人单位直接以此为由解除劳动合同，可能被视为过度处罚，从而引发劳动争议并败诉。
针对以上可能败诉的点，我给出以下建议：
- 加强证据收集与保存：用人单位在发现劳动者存在违规行为时，应及时收集并保存相关证据，如书面记录、监控录像、证人证言等，以确保在劳动争议中能够提供充分的证据支持自己的主张。
- 完善规章制度并公示告知：用人单位应制定合法、有效的规章制度，并通过民主程序进行制定和公示告知，确保规章制度的合法性和适用性。
- 严格遵守解除程序：用人单位在解除劳动合同时，应严格遵守相关法律法规规定的程序，如事先通知工会、听取工会意见、出具解除证明等，以确保解除行为的合法性。
- 审慎评估违规行为与解除劳动合同的关联性：用人单位在决定解除劳动合同时，应审慎评估违规行为的性质、程度以及与解除劳动合同之间的因果关系，避免过度处罚或错误解除。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。