结论前置：您在离婚后长期照顾小孩，现在对方要赶您走并可能涉及抚养权变更的问题，您是有可能通过起诉要回抚养权或维持现有抚养状态的，但具体结果需根据实际情况和证据来判断。

详细分析：

1. 抚养权变更的法律依据：

   • 根据《中华人民共和国民法典》及相关司法解释，抚养权的变更通常基于子女利益最大化的原则。如果一方能够证明另一方在抚养子女方面存在不利因素，如虐待、遗弃、严重疾病无法继续抚养等，或者原抚养方因生活环境变化无法继续提供良好的抚养条件，法院可能会考虑变更抚养权。
   • 在您的情况下，如果您能证明您长期照顾子女，且子女在您的抚养下健康成长，而对方突然要求变更抚养权且没有合理理由，或者对方存在不利于子女成长的因素，那么您起诉要求维持或获得抚养权是有法律依据的。

2. 您可能面临的挑战：

   • 对方可能会提出各种理由来支持其变更抚养权的请求，如经济条件更好、能提供更好的教育环境等。您需要准备充分的证据来反驳这些理由，并证明您才是更适合抚养子女的一方。
   • 法院在判决抚养权变更时，会综合考虑双方的经济条件、生活环境、教育背景、与子女的感情联系等多方面因素。因此，您需要全面展示自己在这些方面的优势。

3. 建议采取的行动：

   • 收集证据：收集您长期照顾子女的证据，如照片、视频、医疗记录、学校记录等，以及对方不利于子女成长的证据（如果有的话）。
   • 咨询律师：与一位经验丰富的婚姻家庭律师详细讨论您的情况，律师可以帮助您评估案件的胜诉可能性，并指导您如何准备证据和进行诉讼。
   • 提起诉讼：在律师的帮助下，向法院提起诉讼，要求维持或获得子女的抚养权。在诉讼过程中，积极配合律师的工作，提供必要的证据和信息。

4. 可能的法律后果：

   • 如果法院判决维持您现有的抚养权，那么您将继续负责子女的日常生活和教育。
   • 如果法院判决变更抚养权给对方，您需要尊重法院的判决，并可以依法行使探视权，与子女保持联系。
   • 在任何情况下，您都应该以子女的利益为重，避免因为抚养权问题对子女造成不必要的伤害。

进一步思考：

• 在处理抚养权问题时，除了法律手段外，还可以考虑通过调解、协商等方式解决争议。这有助于减少对子女的伤害，并维护双方的关系。
• 无论最终抚养权归谁所有，双方都应该保持对子女的关爱和责任感，共同为子女的成长创造良好的环境。

如果您有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。