结论：能否让同意住进来的人搬走，取决于你们之间是否存在租赁等法律关系以及具体约定。以下分情况详细说明：
一、若双方存在租赁关系
- 有书面租赁合同：
- 合同有明确租期：在租期内，您不能随意要求对方搬走，否则可能构成违约，需承担违约责任，比如赔偿对方因此遭受的损失等。若您坚持让对方搬走，需与对方协商一致解除合同，或者依据合同中约定的解除条件来行使解除权。例如合同约定“若承租人拖欠租金达一个月，出租人有权解除合同”，当出现这种情况时，您就可以按照合同约定解除合同，要求对方搬走。
- 合同未明确租期：这种租赁属于不定期租赁，根据《中华人民共和国民法典》规定，您作为出租人可以随时解除合同，但应当在合理期限之前通知对方。一般来说，合理期限会根据实际情况判断，比如提前一个月通知等。
- 无书面租赁合同：
- 根据法律规定，租赁期限六个月以上的，应当采用书面形式。当事人未采用书面形式，无法确定租赁期限的，视为不定期租赁。所以，若双方没有书面合同且无法确定租期，同样视为不定期租赁，您可以在合理期限之前通知对方解除租赁关系，让对方搬走。
二、若双方不存在租赁关系，仅为好意施惠（允许对方免费居住）
- 对方同意搬走：这是最理想的情况，双方可以友好协商，确定搬走的时间等具体事宜，和平解决问题。
- 对方不同意搬走：
- 协商解决：您可以再次与对方沟通，说明您要求其搬走的原因，争取达成一致意见。比如您可以提出给予对方一定的时间寻找新的住所，或者给予一定的经济补偿等。
- 诉讼解决：如果协商无果，您可以向法院提起诉讼，要求对方排除妨害，搬离您的房屋。在诉讼过程中，您需要提供证据证明房屋的所有权归您所有，以及对方居住在您房屋内且没有合法依据的事实。例如，您可以提供房产证、当初允许对方居住的相关聊天记录、证人证言等证据。法院会根据具体情况判决对方搬离房屋。
三、特殊情况
如果对方在居住期间对房屋造成了损坏，或者存在其他违法行为，您可以收集相关证据，如房屋损坏的照片、视频，报警记录等，在要求对方搬走的同时，要求对方承担赔偿责任或者承担相应的法律责任。
建议：在处理此类问题时，尽量先与对方友好协商，避免矛盾激化。如果协商不成，再考虑通过法律途径解决。同时，要注意保留好相关证据，以便在需要时维护自己的合法权益。如果您在处理过程中遇到任何疑问或需要进一步的帮助，可以直接向我咨询。