口头约定代卖，对方却主张是买卖关系时，法院的判定会综合多方面因素进行考量，核心在于证据的充分性和证明力，以及双方实际履行行为是否符合各自主张的法律关系特征。以下从不同角度进行分析：

一、证据层面

1. 口头约定的证明：

   • 口头约定本身在法律上是有效的，但关键在于如何证明其存在及内容。若双方能提供其他证据（如聊天记录、录音、证人证言等）来佐证口头约定的代卖关系，法院在认定时会予以考虑。
   • 若无法提供充分证据证明口头约定的代卖关系，而对方又能提供买卖合同、付款凭证等证据证明买卖关系，则法院可能倾向于认定买卖关系成立。

2. 证据的证明力：

   • 法院在判定时会评估各方证据的证明力。例如，书面证据通常比口头证据具有更强的证明力；直接证据比间接证据更具说服力。
   • 若双方证据均不充分或存在矛盾，法院可能根据高度盖然性原则，即哪一方的证据更有可能接近事实真相，来作出判定。

二、实际履行行为层面

1. 代卖关系的特征：

   • 代卖关系中，代卖方通常不承担货物所有权转移的风险，而是按照委托方的指示进行销售，并收取一定的佣金或报酬。
   • 若实际履行过程中，你并未收取货物所有权，而是按照对方指示进行销售，并期待获得佣金，这更符合代卖关系的特征。

2. 买卖关系的特征：

   • 买卖关系中，买方支付货款后取得货物所有权，卖方则承担货物交付及质量保证等义务。
   • 若实际履行过程中，你收取了货款并交付了货物，或者对方能证明你以买卖的意思表示接收了货物并进行了处置，这更符合买卖关系的特征。

三、法律后果与建议

1. 法律后果：

   • 若法院认定代卖关系成立，则你无需承担买卖合同下的义务，如货物质量保证、货款支付等。
   • 若法院认定买卖关系成立，则你可能需要承担买卖合同下的相应义务，并可能面临违约责任等法律后果。

2. 建议：

   • 收集证据：尽可能收集与口头约定代卖关系相关的证据，如聊天记录、录音、证人证言等。
   • 分析实际履行行为：仔细回顾并分析双方在实际履行过程中的行为，看是否符合代卖或买卖关系的特征。
   • 咨询专业律师：在涉及复杂法律关系时，建议咨询专业律师以获取更具体的法律建议。作为专业律师，我在保险理赔、建设工程领域有丰富经验，也擅长处理合同纠纷，你可以直接向我咨询相关问题。

综上所述，口头约定代卖对方说是买卖时，法院的判定会综合证据层面和实际履行行为层面进行考量。因此，在面临此类纠纷时，应积极收集证据并分析实际履行行为，以维护自己的合法权益。