结论：在农村集市上，若收费不合理且您拒交，对方一般无权直接给卖摊位，但具体情况需结合当地规定和合同约定来判断。

分析如下：

1. 从合同角度分析：

   • 如果您与集市管理方或摊位出租方之间存在书面的或口头的租赁合同，且合同中明确规定了摊位费用、支付方式以及违约责任等条款，那么双方应当按照合同约定履行义务。
   • 若合同中规定的费用不合理，您有权提出异议并拒绝支付超出合理范围的费用。但此时，对方也无权直接收回摊位，除非合同中有明确约定在拒交费用的情况下可以收回摊位，且该约定不违反法律法规的强制性规定。
   • 若合同中没有明确约定拒交费用可以收回摊位，或者约定违反了法律法规的强制性规定，那么对方无权直接收回摊位。此时，对方可能需要通过法律途径（如起诉）来要求您支付费用或承担违约责任。

2. 从法律法规角度分析：

   • 根据《中华人民共和国民法典》等相关法律法规，合同双方应当遵循公平、诚实信用的原则订立和履行合同。如果收费明显不合理，可能构成显失公平或欺诈等情形，您有权请求人民法院或仲裁机构变更或撤销该合同条款。
   • 同时，任何单位或个人不得非法侵占、使用或处分他人的财产。如果对方在您拒交不合理费用的情况下直接收回摊位，可能构成对您的财产权的侵犯，您有权要求对方停止侵害、恢复原状或赔偿损失。

3. 从实际操作角度分析：

   • 在农村集市上，由于交易习惯、地方规定等因素的存在，可能存在一些非书面的、约定俗成的规则。但这些规则不得违反法律法规的强制性规定，也不得损害他人的合法权益。
   • 如果您认为收费不合理，建议先与对方进行协商，尝试达成一个双方都能接受的解决方案。如果协商无果，您可以向当地的市场监管部门、消费者协会等机构投诉或举报，寻求他们的帮助和支持。
   • 在极端情况下，如果对方采取暴力、威胁等非法手段强行收回摊位，您应当立即报警并保留好相关证据，以便后续通过法律途径维护自己的合法权益。

建议：

• 在签订摊位租赁合同时，务必仔细阅读合同条款，特别是关于费用、支付方式和违约责任等方面的约定。
• 如果认为收费不合理或合同条款存在不公平之处，建议及时与对方进行协商并寻求法律帮助。
• 在遇到纠纷时，保持冷静并保留好相关证据，以便后续通过法律途径维护自己的合法权益。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。