在刑事案件中，受害人并非在所有情况下都有权不回答对方律师的问题，这取决于具体的诉讼阶段和情境。以下是对此问题的详细分析：
侦查阶段：
- 在刑事案件的侦查阶段，受害人通常不直接参与庭审，也不直接面对对方律师的询问。此时，受害人的主要任务是向公安机关提供案件线索和证据，协助侦查工作。因此，在这个阶段，受害人并不涉及回答对方律师问题的情况。
审查起诉与审判阶段：
- 作为证人出庭时：如果受害人被传唤作为证人出庭，那么根据法律规定，受害人有义务如实提供证言，回答审判人员、检察人员、辩护人（即对方律师）等提出的与案件有关的问题。在这种情况下，受害人不能无正当理由拒绝回答对方律师的问题，否则可能面临法律责任，如被强制到庭、罚款甚至拘留等。
- 作为被害人参与庭审时：在庭审过程中，被害人有权陈述案件事实、提出证据，并可以对被告人进行发问。然而，当对方律师向被害人发问时，被害人同样需要如实回答，除非问题涉及个人隐私、国家秘密等依法不应公开的内容，或者问题与案件无关、具有侮辱性等。在这些情况下，被害人可以拒绝回答或向法庭提出异议。
特殊情况下的拒绝回答权：
- 涉及个人隐私或国家秘密：如果对方律师的问题涉及被害人的个人隐私或国家秘密，被害人有权拒绝回答，并可以向法庭说明理由。
- 问题与案件无关或具有侮辱性：如果对方律师的问题与案件无关，或者具有侮辱性、攻击性，被害人可以拒绝回答，并向法庭提出异议，要求法庭制止对方律师的不当行为。
法律建议：
- 对于受害人而言，在面对对方律师的询问时，应保持冷静和理智，如实提供证言或回答与案件有关的问题。
- 如果认为对方律师的问题不恰当或涉及个人隐私等敏感信息，可以向法庭提出异议，并说明理由。
- 在整个诉讼过程中，受害人应积极配合司法机关的工作，提供必要的证据和线索，以维护自己的合法权益。
可能的法律后果：
- 如果受害人无正当理由拒绝回答对方律师的合法问题，可能会面临法庭的强制措施，如被强制到庭、罚款等。
- 如果受害人的拒绝回答行为影响了案件的公正审理或造成了其他严重后果，还可能承担相应的法律责任。
综上所述，刑事案件受害人是否有权不回答对方律师的问题，取决于具体的诉讼阶段和情境。在大多数情况下，受害人需要如实回答与案件有关的问题，但在特定情况下也有权拒绝回答。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。