结论：是否违法取决于视频内容以及对方是否享有相关权利。若视频内容侵犯了对方的人格权（如隐私权、肖像权等），且对方明确要求删除，你不删除可能构成违法；若视频内容不构成侵权，或对方无权要求删除，则你不删除一般不违法。以下从不同角度详细分析：
一、视频内容若构成侵权
侵权类型：
- 隐私权：如果视频中包含了对方的私人信息、私人活动或私人空间等，且这些信息的公开未经对方同意，可能侵犯对方的隐私权。
- 肖像权：如果视频中使用了对方的肖像，且未经对方同意用于商业目的或公开传播，可能侵犯对方的肖像权。
- 名誉权：如果视频内容对对方进行了贬损、侮辱或诽谤，可能侵犯对方的名誉权。
法律后果：
- 根据《中华人民共和国民法典》的相关规定，侵犯他人人格权的，应当承担侵权责任，包括停止侵害、赔礼道歉、赔偿损失等。
- 如果对方要求你删除视频，这是对方行使停止侵害权利的一种方式。你不删除视频，可能被视为继续侵害对方的人格权，从而需要承担相应的法律责任。
建议：
- 如果视频内容确实构成侵权，建议你立即删除视频，以避免进一步的法律纠纷。
- 如果对方已经提起诉讼或准备提起诉讼，你可以考虑与对方协商和解，以减轻或避免法律责任。
二、视频内容若不构成侵权
情况分析：
- 如果视频内容只是记录了公共场合的普通场景，且没有包含对方的私人信息或对其进行贬损、侮辱等，那么视频内容可能不构成侵权。
- 或者，即使视频内容涉及对方，但对方无权要求删除（如对方是公众人物，且视频内容未侵犯其合法权益）。
法律后果：
- 在这种情况下，你不删除视频一般不构成违法。对方无权强制要求你删除视频，也无法通过法律途径追究你的责任。
建议：
- 如果对方坚持要求你删除视频，你可以与对方进行沟通，解释视频内容不构成侵权的原因。
- 如果对方仍然无理取闹或采取其他不当行为，你可以考虑保留相关证据，以备不时之需。
三、特殊情况考虑
- 双方协商：无论视频内容是否构成侵权，双方都可以通过协商来解决争议。如果对方提出合理的删除要求，且你能够接受，那么通过协商删除视频可能是最佳解决方案。
- 法律程序：如果双方无法协商解决争议，对方可能会选择通过法律途径来维护自己的权益。在这种情况下，你需要做好应对法律程序的准备，包括收集证据、聘请律师等。
最后，我建议你根据视频内容的具体情况以及对方的要求来综合判断是否需要删除视频。如果你对视频内容是否构成侵权存在疑问，或者对方的要求让你感到困惑，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。