在调解过程中，您有权拒绝与对方的受托人进行调解，但需根据具体情况谨慎考虑并妥善处理。以下是对这一问题的详细分析：
一、调解的基本原则与受托人的角色
调解作为一种非诉讼纠纷解决方式，其核心原则在于自愿、平等和合法。在调解过程中，双方当事人有权自主决定是否参与调解，以及与谁进行调解。受托人，作为一方当事人的代理人，其参与调解的权限来源于当事人的授权。若您对对方的受托人身份或权限存在疑虑，或认为其无法有效代表对方进行调解，您有权拒绝与其进行调解。
二、拒绝与对方受托人调解的法律依据
自愿原则：调解的自愿原则意味着您有权选择调解的对象和方式。若您认为与对方的受托人进行调解无法达成有效沟通或解决纠纷，您有权拒绝。
代理人权限：受托人的权限来源于当事人的授权。若您对受托人的授权范围或真实性存在疑问，或认为其无法代表对方作出有效决策，您同样有权拒绝与其进行调解。
三、拒绝与对方受托人调解的注意事项
明确表达意愿：若您决定拒绝与对方的受托人进行调解，应明确、直接地表达您的意愿，避免产生误解或不必要的纠纷。
考虑调解的替代方案：拒绝与对方受托人调解并不意味着纠纷无法解决。您可以考虑与对方直接进行调解，或寻求其他非诉讼纠纷解决方式，如仲裁、诉讼等。
保留相关证据：在拒绝与对方受托人调解的过程中，您应保留好相关证据，如书面拒绝函、沟通记录等，以备不时之需。
四、可能面临的法律后果
调解终止：若您拒绝与对方的受托人进行调解，且双方无法就调解对象达成一致，调解程序可能会因此终止。此时，您可能需要考虑其他纠纷解决方式。
对方可能采取的法律行动：若对方认为您的拒绝行为损害了其合法权益，其可能会采取法律行动，如提起诉讼等。但这种情况较为罕见，且需根据具体案情进行判断。
建议：在决定是否拒绝与对方的受托人进行调解时，您应充分考虑纠纷的性质、对方的受托人身份及权限、调解的可能性及效果等因素。若您对此存在疑虑或无法作出决策，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。