结论：您可以考虑起诉男方爷爷，但具体能否胜诉及起诉的依据需根据房屋产权归属、您居住在此房屋的合法性及男方爷爷的诉求合理性等因素综合判断。以下从不同角度为您详细分析。
一、房屋产权归属角度
若房屋产权归男方爷爷所有：
- 男方爷爷作为房屋的所有权人，有权要求无权占有人搬离其房屋。但如果您和孩子居住在此房屋有合法依据（如离婚协议、法院判决等），则男方爷爷的诉求可能不会得到法院支持。
- 若您和孩子居住在此房屋无合法依据，男方爷爷起诉要求您和孩子搬离，法院可能会支持其诉求。此时，您若认为自身权益受到侵害，需寻找其他合法依据进行抗辩或考虑另行起诉解决相关争议。
若房屋产权不归男方爷爷所有：
- 男方爷爷无权要求您和孩子搬离此房屋。若其起诉，您可提供房屋产权证明等证据进行抗辩，法院不会支持其诉求。
- 在此情况下，若男方爷爷的行为给您和孩子造成了损失，您还可以考虑起诉其侵犯您的居住权或财产权等。
二、您居住在此房屋的合法性角度
若您居住在此房屋有合法依据：
- 如离婚协议中约定您和孩子有权居住在此房屋，或法院判决您和孩子有权居住在此房屋等。此时，男方爷爷起诉要求您和孩子搬离，法院不会支持其诉求。
- 您可提供离婚协议、法院判决等证据进行抗辩，维护自身和孩子的居住权益。
若您居住在此房屋无合法依据：
- 男方爷爷起诉要求您和孩子搬离，法院可能会支持其诉求。此时，您需考虑尽快搬离或与男方爷爷协商解决。
- 若您认为自身有特殊情况需要继续居住在此房屋（如无其他住所、孩子上学需要等），可尝试与男方爷爷协商，或寻求法律援助、社会救助等途径解决。
三、男方爷爷诉求合理性角度
若男方爷爷诉求合理：
- 如房屋产权归其所有，且您和孩子居住在此房屋无合法依据。此时，男方爷爷起诉要求您和孩子搬离，法院会支持其诉求。
- 您需尊重法院判决，尽快搬离此房屋。
若男方爷爷诉求不合理：
- 如房屋产权不归其所有，或您和孩子居住在此房屋有合法依据。此时，男方爷爷起诉要求您和孩子搬离，法院不会支持其诉求。
- 您可提供相关证据进行抗辩，维护自身和孩子的合法权益。同时，若男方爷爷的行为给您和孩子造成了损失，您还可以考虑起诉其赔偿损失。
建议：在处理此类纠纷时，建议您先收集相关证据（如房屋产权证明、离婚协议、法院判决等），明确自身和孩子的居住权益。若男方爷爷起诉要求您和孩子搬离，您可委托律师进行应诉，提供相关证据进行抗辩。若您认为自身权益受到侵害，也可以考虑主动起诉男方爷爷，维护自身和孩子的合法权益。在处理过程中，务必保持冷静和理性，通过法律途径解决争议。