对方要求伤残鉴定时，您确实有权拒绝，但这是法律赋予您的一项权利，旨在保障您的自主意愿。然而，在决定是否拒绝之前，您需要充分权衡可能带来的后果。

首先，从法律层面来看，拒绝伤残鉴定可能会导致在后续的纠纷解决过程中，您处于不利的地位。例如，在交通事故或人身损害赔偿等案件中，如果对方提出伤残鉴定要求而您拒绝，对方可能会利用这一点来主张对其更为有利的事实，这可能会使您在诉讼中处于被动地位，难以有效地维护自身的合法权益。

其次，在刑事领域，如果作为刑事案件中的被害人拒绝做伤情鉴定，可能会影响对犯罪嫌疑人的定罪量刑，特别是当伤情是否达到轻伤等标准成为关键情节时。

然而，如果您对鉴定结果存在异议或认为鉴定程序存在严重违法、鉴定机构不具备资质等合理怀疑，您可以在法定程序内申请重新鉴定。这体现了法律的公正性和对当事人权益的充分保护。

综上所述，虽然您有权拒绝伤残鉴定，但在做出决定之前，请务必充分权衡利弊，谨慎考虑拒绝鉴定可能带来的后果。如果可能的话，建议咨询专业律师以获取更具体的法律建议。