核心结论：针对您买的土地没有协议，卖家往回要钱的情况，需分情况处理，关键在于判断土地买卖行为的合法性及双方过错程度，以下是具体分析。
- 土地买卖行为本身违法的情况
在我国，土地所有权归国家或集体所有，个人之间不能随意买卖土地所有权。如果你们交易的是农村集体土地（如宅基地、耕地等）的所有权，这种买卖行为因违反法律强制性规定而无效。此时，卖家要求返还钱款，从法律原则上讲，因合同无效，因该合同取得的财产应当予以返还，所以卖家有权要求您返还土地（但实际无法返还土地所有权，可能涉及恢复原状等处理），同时卖家也应返还您已支付的款项。不过，如果双方都有过错，比如明知土地不能买卖还进行交易，那么应当各自承担相应的责任，可能会根据过错大小分担因交易产生的损失，比如土地增值部分、您对土地的投入等损失，可能由双方按比例分担。
- 土地买卖行为实际是土地使用权流转且合法的情况
如果你们交易的是土地使用权，并且这种流转符合法律规定（例如农村土地承包经营权的流转，在符合法定程序和条件的情况下是可以的），那么没有协议会带来一些麻烦，但并不意味着卖家可以随意要回钱款。虽然没有书面协议，但如果能通过其他证据（如证人证言、转账记录、双方之前的沟通记录等）证明你们之间存在土地使用权流转的合意以及您已经支付了相应款项，那么您有权继续使用该土地。卖家往回要钱如果没有合法依据（比如不存在您违约等情形），您有权拒绝。如果卖家强行索要甚至采取不当手段，您可以收集相关证据，通过法律途径维护自己的合法权益，比如向法院起诉要求卖家停止侵害、排除妨碍等。
- 土地买卖行为实际是土地使用权流转但存在瑕疵的情况
如果土地使用权流转存在程序上的瑕疵（比如没有经过必要的审批手续等），那么这种流转可能处于效力待定状态。此时卖家往回要钱，需要看后续是否能补正相关手续使流转合法有效。如果能补正，那么流转继续有效，卖家不能随意要回钱款；如果不能补正，流转可能被认定无效，同样面临相互返还财产及分担损失的问题，和第一种情况类似，但具体责任分担会根据流转瑕疵的具体情况以及双方的过错程度来确定。
建议：您可以先收集能证明土地交易情况的各种证据，包括但不限于转账记录、与卖家的沟通记录、了解交易情况的证人等。然后和卖家进行协商，看能否达成一个合理的解决方案。如果协商不成，您可以考虑通过法律途径解决，比如向法院起诉或者申请仲裁（如果有仲裁条款的话），以维护自己的合法权益。如果您还有其他疑问或需要进一步的帮助，欢迎随时向我咨询。