可以起诉要求对方搬走，但能否胜诉需视具体情况而定。以下从不同角度为您详细分析：
一、房屋所有权角度
若房屋所有权归您爷爷所有：
- 您爷爷作为房屋的所有权人，有权决定房屋的使用和居住情况。他同意前妻居住，是基于其所有权人的权利。
- 您作为非所有权人，原则上无权直接要求前妻搬走，除非您能证明前妻的居住行为侵犯了您的合法权益（如您也是房屋的共有人，且前妻的居住行为超出了您爷爷同意的范围，或对您造成了实际损害）。
若您也是房屋的共有人：
- 您作为共有人，对房屋享有相应的权利。若前妻的居住行为未经您同意，且超出了您爷爷作为另一共有人所能单独决定的范围，您可能有权要求前妻搬走。
- 但这仍需考虑您爷爷与前妻之间的具体约定，以及前妻居住是否合理、是否对您的权益造成了实质性影响。
二、合同或协议角度
- 若存在书面协议：如果离婚时或之后，您爷爷与前妻之间就房屋居住问题签订了书面协议，明确了居住期限、条件等，那么应按照协议执行。若前妻违反协议，您爷爷或您（如您是协议的一方或受协议影响）有权要求其搬走。
- 若无书面协议：则需依据口头约定、实际行为及公平原则等来判断。若您能证明前妻的居住行为缺乏合法依据或违反了公平原则，可能有机会通过法律途径要求其搬走。
三、法律程序与证据角度
起诉准备：
- 若您决定起诉，需准备充分的证据，如房屋所有权证、离婚协议（如涉及）、您爷爷同意前妻居住的书面或口头证据（如有）、前妻居住对房屋或您造成损害的证据等。
- 还需明确诉讼请求，如要求前妻搬离房屋、赔偿损失等。
法律程序：
- 起诉后，法院将审理案件，依据事实和法律作出判决。若判决支持您的诉求，前妻需履行判决义务，即搬离房屋。
- 若前妻不履行判决，您可申请法院强制执行。
四、建议与风险提示
- 协商解决：在起诉前，建议尝试与前妻协商解决，看是否能达成双方都能接受的解决方案。
- 法律咨询：由于房产纠纷和离婚纠纷涉及的法律问题较为复杂，建议在起诉前咨询专业律师，评估胜诉可能性及法律风险。
- 证据收集：无论选择协商还是起诉，都应重视证据的收集和保存，以便在需要时维护自己的合法权益。
总结：虽然您可以起诉要求前妻搬走，但能否胜诉取决于房屋所有权情况、是否存在合法协议、证据是否充分等多种因素。因此，在决定起诉前，请务必充分评估法律风险，并考虑咨询专业律师的意见。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。