没有协议的情况下，借名人要回不动产的难度较大，但并非完全不可能，具体需视实际情况而定。以下从不同角度为您详细分析：
一、法律角度：缺乏直接证据，主张权利面临挑战
在借名买房的情境中，若没有书面协议，仅凭口头约定，借名人主张权利时将面临显著挑战。法律上，要证明借名买房的约定存在，并确认实际出资人，通常需要直接且有力的证据。缺乏书面协议，仅凭口头约定，往往难以被法院认定为双方存在借名买房的合意。
二、证据收集：间接证据虽可用，但效力有限
尽管没有书面协议，借名人仍可尝试收集其他间接证据来支持其主张，如聊天记录、通话录音、转账记录（若存在）、证人证言等。这些证据虽能在一定程度上证明借名买房的事实，但其效力通常不如书面协议直接和有力。在缺乏直接证据的情况下，借名人的诉求可能得不到法院的支持。
三、实际操作建议：尽快梳理证据，评估法律途径
梳理证据：借名人应尽快梳理所有可能与借名买房相关的证据，包括但不限于口头约定的记录、实际出资的凭证、与出名人之间的沟通记录等。
评估法律途径：在梳理完证据后，借名人应评估这些证据是否足以支持其主张，并考虑是否通过法律途径来解决问题。若证据不足，可能需要考虑其他解决方式，如协商、调解等。
寻求专业帮助：由于借名买房涉及的法律问题较为复杂，借名人在处理此类问题时，建议寻求专业律师的帮助，以确保其权益得到最大程度的保护。
四、特殊情况考虑：实际出资与产权登记的冲突
在实际操作中，还存在一种特殊情况，即借名人实际出资购买了房产，但产权登记在出名人名下。这种情况下，若没有书面协议，借名人要回房产将更加困难。因为从法律上讲，产权登记具有公示公信的效力，除非能提供充分证据证明借名买房的事实，否则借名人难以主张产权。
举例说明：假设小张与小李达成口头借名买房约定，由小张出资，以小李名义购买房产。后小张想收回房产，但小李否认存在借名买房一事。由于小张既无书面借名协议证明双方借名买房的合意，又没有转账记录等能体现是自己实际出资的凭证，小张要回房产将面临极大困难。
没有协议的情况下，借名人要回不动产的难度确实较大。但并非完全不可能，关键在于能否提供充分证据证明借名买房的事实。因此，建议您在处理此类问题时，务必谨慎行事，并尽快寻求专业律师的帮助。若您有任何法律问题，都可以直接向我咨询，我会尽我所能为您提供帮助。