结论：对方以隐私进行威胁是否违法，需根据具体情况来判断。一般而言，轻微的、无实质恶意和实施意图的威胁可能不构成违法；但若威胁内容具有现实危险性、侵犯他人权益或伴随非法目的，则可能触犯民事、行政乃至刑事法律。
详细分析：
一般不构成违法的情况：
- 在某些特定的社交场合或朋友间的玩笑中，如果以夸张、调侃的方式说出看似“威胁”的话语，但并无明显的恶意和实施意图，且对方能够感知到这并非真实的威胁，那么这种情况通常不构成违法。例如，朋友间开玩笑说“再这样我就把你的糗事告诉所有人”，但双方都知道这只是玩笑，并无实际行动的意图。
可能构成违法的情况：
民事违法层面：
- 侵犯隐私权：若威胁内容涉及散布对方的隐私信息，如个人秘密、家庭情况等，根据《中华人民共和国民法典》的相关规定，此行为可能构成对隐私权的侵害，属于民事侵权行为。受害者有权要求侵权人停止侵害、消除影响、赔礼道歉，并可能要求赔偿精神损害抚慰金。
- 造成精神损害：持续、严重的威胁可能导致对方产生精神痛苦和压力，影响其正常生活和工作。在这种情况下，受害者同样有权要求侵权人承担民事责任。
行政违法层面：
- 根据《中华人民共和国治安管理处罚法》第四十二条第一项的规定，以其他方法威胁他人人身安全的行为，如通过语音、文字等方式进行威胁，可处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。因此，如果对方的威胁行为达到了这一程度，就可能面临行政处罚。
刑事违法层面：
- 敲诈勒索罪：若对方以威胁语音为手段，索要财物或非法利益，且数额较大或多次实施，根据《中华人民共和国刑法》的相关规定，可能构成敲诈勒索罪。面临三年以下有期徒刑、拘役或者管制，并处罚金等刑罚；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑，并处罚金。
- 寻衅滋事罪：若威胁行为出于无事生非、起哄闹事等目的，严重扰乱社会秩序，如公共场所随意威胁他人造成秩序混乱，根据刑法规定，可能构成寻衅滋事罪。处五年以下有期徒刑、拘役或者管制；严重破坏社会秩序的，处五年以上十年以下有期徒刑，可以并处罚金。
总结与建议：
对方以隐私进行威胁在法律上并非一概而论为违法，但需谨慎对待。任何形式的威胁都可能对他人造成不良影响，甚至触发法律责任。因此，我建议你：
- 保持冷静：面对威胁时，首先要保持冷静，不要惊慌失措或做出过激反应。
- 收集证据：尽可能收集对方威胁的证据，如语音记录、文字信息等，以便在需要时向相关部门报案或提起诉讼。
- 寻求帮助：如果感到自身安全受到威胁或无法处理此事，可以及时向警方报案或寻求法律援助。
如果你有任何具体的法律问题或需要进一步的帮助，请直接向我咨询。