核心结论：若房租协议中明确约定了暂住相关条款且对方存在违约或符合收回条件，你可以依法收回房屋；若协议未明确或存在争议，需通过协商、调解或诉讼等途径解决，具体能否收回需结合实际情况判断。以下是详细分析：
核心前提
你与他人签订了房租协议，允许对方暂住，现在因出现纠纷想要收回房屋。这里的纠纷可能涉及对方不遵守协议约定、拖欠房租、损坏房屋设施、擅自转租等多种情况。
具体分析
- 协议有明确约定收回条件且对方符合条件
- 如果房租协议中明确规定了在某些情况下你可以收回房屋，例如对方拖欠房租达到一定期限、未经你同意擅自对房屋进行重大改造、将房屋用于违法活动等，且对方确实出现了这些违约行为，那么你有权依据协议约定收回房屋。
- 在这种情况下，你可以先与对方进行沟通，要求其按照协议履行义务或者立即搬离房屋。如果对方拒绝配合，你可以向对方发出书面通知，明确指出其违约行为以及你收回房屋的依据和要求，并给予对方一定的合理期限来纠正违约行为或搬离。如果对方在期限内仍未采取行动，你可以考虑通过法律途径解决，如向法院提起诉讼，要求对方返还房屋并承担相应的违约责任。
- 协议未明确约定收回条件或约定不明确
- 若房租协议中没有明确约定在出现纠纷时你可以收回房屋的具体条件，或者约定不够明确具体，那么你需要先与对方进行协商，尝试通过友好协商的方式解决纠纷，达成一个双方都能接受的解决方案，例如调整租金、延长暂住期限、对方对房屋进行修复等。
- 如果协商不成，你可以寻求第三方调解，比如向当地的居民委员会、村民委员会、人民调解委员会等申请调解。调解机构会组织双方进行调解，帮助双方沟通协商，促成双方达成调解协议，解决纠纷。
- 若调解也无法解决问题，你可以考虑通过诉讼途径解决。在诉讼过程中，你需要向法院提供相关证据，证明对方存在违约行为或者你的收回房屋请求具有合理性，例如房屋的使用情况、对方的违约事实、你的损失等。法院会根据双方提供的证据和法律规定进行审理，并作出判决。如果法院判决你胜诉，对方仍然拒绝履行判决义务，你可以向法院申请强制执行，强制对方搬离房屋。
- 对方属于合法暂住且无违约行为
- 如果对方在暂住期间严格遵守了房租协议的约定，没有出现任何违约行为，而你仅仅是因为自身原因想要收回房屋，那么你的收回请求可能会受到一定的限制。在这种情况下，你需要提前通知对方，并按照协议约定或者法律规定给予对方足够的搬离时间。
- 如果协议中没有约定提前通知的期限，根据相关法律规定，你一般需要提前合理的时间通知对方，以便对方有足够的时间寻找新的住所。如果因为你的突然收回房屋给对方造成了损失，例如对方需要支付额外的住宿费用、搬家费用等，你可能需要承担相应的赔偿责任。