结论：亲兄弟赖着不走能否赶走，需视具体情况而定，主要取决于房屋的产权归属以及兄弟之间的法律关系。以下从不同角度进行分析：
一、房屋产权归属明确且属于你个人所有
法律背景：
- 根据《民法典》的相关规定，房屋作为不动产，其所有权以登记为准。若房屋产权明确登记在你个人名下，则你对该房屋享有完整的占有、使用、收益和处分的权利。
法律建议：
- 在此情况下，若亲兄弟无正当理由赖着不走，你首先可以尝试通过沟通协商的方式解决，明确告知其房屋属于你个人所有，要求其搬离。
- 若沟通无果，你可以向当地公安机关报警，请求警方协助处理。警方在了解情况后，可能会进行调解或采取其他适当措施。
- 若警方调解无果，你还可以向人民法院提起诉讼，要求亲兄弟搬离并赔偿因此造成的损失。法院在审理后，若认定你的诉求合理，将会判决亲兄弟搬离并承担相应的赔偿责任。
二、房屋产权归属存在争议或属于共有财产
法律背景：
- 若房屋产权存在争议，如兄弟之间对房屋的归属有分歧，或者房屋属于家庭共有财产，则情况会相对复杂。
- 在共有财产的情况下，每个共有人都有权使用房屋，但不得损害其他共有人的利益。若亲兄弟赖着不走且影响了你的正常使用，则可能构成侵权。
法律建议：
- 在产权存在争议的情况下，建议首先通过协商或调解的方式解决争议，明确房屋的产权归属。
- 若协商或调解无果，你可以向人民法院提起诉讼，请求确认房屋的产权归属。在产权归属明确后，再根据上述第一种情况的处理方式要求亲兄弟搬离。
- 若房屋属于共有财产且亲兄弟赖着不走影响了你的正常使用，你可以先尝试与亲兄弟沟通协商，要求其合理使用房屋或搬离。若沟通无果，你可以向人民法院提起诉讼，要求亲兄弟停止侵害并赔偿损失。
三、特殊情况下的处理
若亲兄弟属于无民事行为能力人或限制民事行为能力人：
- 在此情况下，若亲兄弟赖着不走，你可能需要承担更多的照顾和监护责任。你可以尝试与其监护人沟通协商，要求其将亲兄弟接走并妥善安置。
- 若监护人拒绝履行监护责任或无法联系到监护人，你可以向当地民政部门或相关机构求助，寻求帮助和支持。
若存在家庭暴力或虐待等违法行为：
- 若亲兄弟赖着不走且存在家庭暴力或虐待等违法行为，你应立即向当地公安机关报警，并寻求法律援助和保护。警方将会依法处理违法行为，并保护你的合法权益。
后续行动建议：在处理此类问题时，建议你保持冷静和理性，避免采取过激行为或言语冲突。同时，注意收集和保留相关证据，如房屋产权证明、沟通记录、报警记录等，以便在需要时提供证明和支持。若你有任何疑问或需要进一步的法律帮助，请直接向我咨询。