在对方录音的情况下，您确实有权拒绝，但具体能否拒绝成功以及拒绝后的法律后果，需根据录音的场合、目的及是否侵犯您的合法权益等因素综合判断。以下从不同角度为您详细分析：
一、合法录音场合下的拒绝权
公开场合或双方同意的场合：
- 若录音是在公开场合进行，如会议、讲座等，且您作为参与者或听众，通常难以直接拒绝录音，因为公开场合的活动本身就可能被记录。
- 若双方事先已就录音达成一致，如签订了录音同意书，那么您在此情况下拒绝录音可能构成违约，需承担相应的法律责任。但即便如此，您仍有权表达不愿被录音的意愿，只是需承担可能的法律后果。
合法取证目的：
- 在民事诉讼或刑事诉讼中，为取证目的而进行的录音，若符合法律规定（如未经对方同意但录音内容合法、不侵犯他人隐私等），则可能被法院采纳为证据。在此情况下，您虽有权表达不愿被录音的意愿，但对方仍可能继续录音，且该录音可能作为合法证据使用。
二、非法录音场合下的拒绝权及法律后果
侵犯隐私权的录音：
- 若对方在未经您同意的情况下，在私人场所（如您的家中、办公室等）或通过非法手段（如窃听、偷拍等）进行录音，这明显侵犯了您的隐私权。您有权坚决拒绝，并可以向公安机关报案，要求对方停止侵权行为并承担相应的法律责任。
以威胁、胁迫手段进行的录音：
- 若对方以威胁、胁迫等手段迫使您接受录音，这同样构成违法行为。您不仅有权拒绝，还可以向公安机关报案，寻求法律保护。
三、拒绝录音的合理方式与建议
明确表达意愿：
- 当您发现对方正在录音时，应立即明确表达您不愿被录音的意愿。可以通过口头告知、书面声明等方式进行。
保留证据：
- 若您怀疑对方正在非法录音，可以尝试保留相关证据，如录音设备的照片、录音内容的部分摘录（若可能）等。这些证据在后续维权过程中可能起到关键作用。
寻求法律帮助：
- 若您认为对方的录音行为已经侵犯了您的合法权益，且无法通过协商解决，建议及时寻求法律帮助。可以向律师咨询，了解具体的维权途径和策略。
总结来说，您在对方录音时确实有权拒绝，但具体能否拒绝成功以及拒绝后的法律后果需根据录音的场合、目的及是否侵犯您的合法权益等因素综合判断。在面对非法录音行为时，您应坚决拒绝并寻求法律保护。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。