对方未经允许录音，若该录音涉及偷窥、偷拍、窃听、散布隐私等行为，则属于违法行为，可依法追究其法律责任。具体分析如下：

一. 对方未经允许录音的法律性质

• 未经允许录音，若该行为并未侵犯他人合法权益，如为了自我保护、留存证据等正当目的，则不构成违法。
• 但若该录音行为涉及偷窥、偷拍、窃听、散布他人隐私，根据《中华人民共和国治安管理处罚法》第四十二条第六项，则属于违法行为。

二. 处理方式

1. 证据收集：首先，你需要确保有充分的证据证明对方确实进行了未经允许的录音行为，这可以包括录音文件本身、聊天记录、证人证言等。
2. 报警处理：若对方的行为构成违法，你可以向当地公安机关报案，要求依法处理。公安机关会根据具体情况，对违法者进行相应的治安管理处罚。
3. 法律诉讼：如果对方的录音行为给你造成了严重的损害，如名誉受损、精神压力等，你还可以考虑通过法律途径追究其民事责任，要求赔偿损失。

三. 预防措施

• 在日常交往中，注意保护自己的隐私，避免在公共场合或私人场合谈论敏感话题。
• 对于重要的谈话或会议，可以提前告知对方不得录音或录像，以确保谈话的私密性。

我建议，在发现对方未经允许录音后，应先冷静分析情况，根据录音内容、目的及影响等因素，采取合适的处理方式。如有进一步需要，您可以继续咨询我。