你可以拒绝对方委托人的委托。在合同纠纷或任何法律事务中，你有权决定是否接受他人的委托。以下是对这一问题的详细分析：

1. 委托关系的自愿性：

   • 委托关系是基于双方自愿和信任建立的。如果你不愿意接受对方的委托，你有权拒绝，这是你的合法权利。

2. 拒绝委托的法律依据：

   • 根据《中华人民共和国民法典》的相关规定，委托合同是委托人和受托人约定，由受托人处理委托人事务的合同。委托人或者受托人可以随时解除委托合同，这意味着你有权在任何时候拒绝继续接受委托。

3. 拒绝委托的注意事项：

   • 如果你已经接受了委托并开始了相关工作，但在后续过程中发现无法继续履行或不愿意继续履行，你应当及时与委托人沟通，说明情况并协商解决方案。
   • 在拒绝委托时，应当尽量以书面形式通知委托人，以避免后续可能出现的纠纷或误解。

4. 可能的影响：

   • 拒绝委托可能会对你与委托人之间的关系产生影响，但这并不构成法律上的责任或义务。你只需要确保在拒绝时以合理和尊重的方式表达你的决定。

综上所述，你有权拒绝对方委托人的委托，这是你的合法权利。在拒绝时，请确保以合理、尊重和明确的方式表达你的决定，以避免不必要的纠纷或误解。如果你有任何其他问题或需要进一步的法律建议，请随时向我咨询。