您家的20年五花果树被人用药破坏，确实有权考虑通过法律途径追究责任，是可以起诉的。以下是对此问题的详细分析：

1. 侵权责任的认定：

   • 根据《中华人民共和国民法典》的相关规定，如果他人的行为（如用药破坏树木）导致了您的财产损失，且该行为存在过错（如故意或过失），那么行为人应当承担侵权责任。在此情况下，用药破坏您家五花果树的行为，显然构成了对您财产权的侵害，且行为人存在过错。

2. 证据收集与固定：

   • 在起诉前，您需要收集并固定相关证据，以证明是他人用药破坏了您的树木。这可能包括现场照片、视频、目击者证言、药物残留检测报告等。证据的充分性和可靠性将直接影响案件的胜诉率。

3. 法律途径与赔偿：

   • 如果确认存在侵权行为，您可以通过诉讼方式要求行为人承担赔偿责任。赔偿范围通常包括树木的实际价值损失、因树木破坏导致的其他直接经济损失（如清理现场的费用）等。
   • 在诉讼过程中，您可能需要聘请专业评估机构对树木的价值进行评估，以确定具体的赔偿数额。

4. 可能的法律后果：

   • 如果行为人被认定构成侵权，除了需要承担民事赔偿责任外，还可能面临行政处罚（如罚款、拘留等），具体取决于行为的严重程度和当地法律法规的规定。
   • 如果行为人的行为构成犯罪（如故意毁坏财物罪），则还可能面临刑事责任的追究。

法律建议：

• 在采取法律行动前，建议您先尝试与行为人进行协商，看是否能够达成和解协议，以节省时间和成本。
• 如果协商无果，您可以向当地公安机关报案，请求他们介入调查并固定证据。
• 同时，您可以咨询专业律师，了解具体的法律程序和诉讼策略，以确保您的权益得到充分保护。

行动指南：

1. 收集并固定相关证据，包括现场照片、视频、目击者证言等。
2. 尝试与行为人进行协商，看是否能够达成和解。
3. 如果协商无果，向当地公安机关报案并咨询专业律师。
4. 在律师的指导下，准备起诉材料并提起诉讼。

如果您在此过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。