结论：录音是否违法，不能一概而论，需要结合录音的获取方式、内容以及使用目的等多个因素来综合判断。
分析如下：
录音的获取方式：
- 如果录音是在双方自愿、平等、公开的情况下录制的，且没有侵犯到任何一方的隐私权或其他合法权益，那么这样的录音通常是合法的。
- 如果录音是在一方不知情的情况下，通过秘密窃听、偷录等非法手段获取的，那么这样的录音就可能侵犯到另一方的隐私权，从而构成违法。
录音的内容：
- 录音内容如果仅涉及双方日常对话，且没有涉及任何违法或侵权的内容，那么这样的录音一般不会被认定为违法。
- 如果录音内容中包含了威胁、恐吓、侮辱、诽谤等违法或侵权的内容，那么这样的录音就可能构成违法，甚至可能涉及刑事犯罪。
录音的使用目的：
- 如果录音是用于证明双方之间的某些事实或约定，且在使用过程中没有侵犯到任何一方的合法权益，那么这样的录音使用通常是合法的。
- 如果录音是用于恶意诋毁、敲诈勒索或其他非法目的，那么这样的录音使用就可能构成违法。
具体到您的案例：
- 如果男方在平时说话时，虽然按照自己的意思说，但并未采取非法手段录制对话，且录音内容仅涉及双方日常交流，没有侵犯女方的隐私权或其他合法权益，那么这样的录音一般不被认为是违法的。
- 如果男方在录制对话时，采取了秘密窃听、偷录等非法手段，或者录音内容中包含了违法或侵权的内容，或者录音被用于非法目的，那么这样的录音就可能构成违法。
建议：
- 如果您对录音的合法性有疑问，或者担心录音可能被用于非法目的，建议您咨询专业律师（即我，郎丰亮律师，专注于婚姻家庭领域），以便获得更具体的法律建议。
- 在处理婚姻家庭纠纷时，建议双方保持冷静和理性，通过协商、调解等合法途径解决问题，避免采取非法手段获取证据或进行报复。
后续行动：
- 如果您需要进一步的法律帮助或咨询，请随时向我提问，我会根据您的具体情况提供详细的法律建议。