结论：前妻以照顾先天脑发育不良孩子为由赖在前夫家不走，前夫是可以考虑通过法律途径解决的，但具体能否起诉以及起诉的效果，需根据实际情况和法律规定来综合判断。

分析如下：

1. 居住权的法律界定：

   • 在一般情况下，前妻与前夫离婚后，若没有特别的约定或法律判决，前妻并不享有在前夫家居住的权利。居住权通常需要通过合同、遗嘱或法律判决来设立，且需符合相关法律规定。
   • 如果前妻与前夫之间没有关于居住权的明确约定，且法院也没有判决前妻享有居住权，那么前妻继续居住在前夫家中可能构成侵权或非法侵入住宅。

2. 照顾孩子的特殊情况：

   • 虽然前妻以照顾先天脑发育不良孩子为由主张居住权，但这一理由并不必然赋予其居住权。照顾孩子是父母双方的共同责任，但并不意味着前妻可以因此无视前夫的居住权益。
   • 如果双方能够协商达成一致，比如前夫同意前妻在一定期限内继续居住以照顾孩子，那么这是可行的。但如果无法协商一致，前妻单方面坚持居住则可能引发法律纠纷。

3. 法律途径的解决：

   • 起诉要求排除妨碍：如果前妻的居住行为确实侵犯了前夫的居住权益，且双方无法协商解决，前夫可以向法院起诉要求前妻排除妨碍，即搬离前夫的住所。
   • 起诉要求变更抚养权或抚养费：如果前妻以照顾孩子为由拒绝搬离，但前夫认为前妻不适合继续照顾孩子或希望减轻自己的抚养负担，前夫也可以考虑起诉要求变更抚养权或调整抚养费。不过，这需要提供充分的证据证明前妻不适合照顾孩子或前夫有能力更好地照顾孩子。
   • 申请强制执行：如果法院判决前妻搬离而前妻拒不执行，前夫还可以向法院申请强制执行，由法院采取强制措施迫使前妻搬离。

4. 实际操作中的考虑：

   • 在起诉前，前夫应尽量收集证据证明前妻的居住行为侵犯了自己的权益，比如居住证明、房产证、报警记录等。
   • 同时，前夫也应考虑孩子的利益和感受，尽量通过协商或调解的方式解决纠纷，避免对孩子造成不必要的伤害。

建议：

• 在处理此类纠纷时，建议前夫首先与前妻进行协商，尝试达成一致意见。如果协商无果，再考虑通过法律途径解决。
• 在起诉前，前夫应咨询专业律师，了解自己的权益和可能的法律后果，以便做出更明智的决策。
• 在诉讼过程中，前夫应积极配合法院的工作，提供必要的证据和材料，以支持自己的主张。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。