拒绝交代理费一般不可以直接解除合同，且此行为可能不合法。下面我将从法律角度对此进行详细解释：

1. 合同解除的法定条件：

   • 根据《民法典》的相关规定，合同的解除需要满足一定的条件，如因不可抗力导致不能实现合同目的、当事人一方明确表示或者以自己的行为表明不履行主要债务等。拒绝交代理费并不直接构成这些法定解除条件。

2. 代理费的性质与合同义务：

   • 代理费是委托合同中委托方应支付给受托方的报酬。在委托代理关系中，支付代理费是委托方的一项主要合同义务。
   • 如果委托方拒绝支付代理费，将构成对合同义务的违反，受托方有权要求委托方承担违约责任。

3. 合同解除的协商与诉讼：

   • 当然，如果双方就解除合同达成一致意见，可以协商解除合同。
   • 如果无法协商一致，受托方可以依法向法院提起诉讼，要求委托方支付代理费并承担违约责任。

4. 可能的法律后果：

   • 委托方拒绝支付代理费，除了可能面临被起诉的风险外，还可能影响其在商业领域的信誉和声誉。
   • 如果法院判决委托方败诉，委托方还需要承担诉讼费用、律师费用等额外的经济负担。

综上所述，拒绝交代理费一般不可以直接解除合同，且此行为可能构成对合同义务的违反，需要承担相应的法律责任。因此，建议你在处理此类问题时，应谨慎考虑并咨询专业律师的意见。如果你有任何关于合同纠纷的法律问题，可以直接向我咨询。