当您遇到农村责任地被别人强占或破坏的情况时，可以按照以下步骤来维护自己的合法权益：

一、友好协商与证据保留

1. 友好协商：首先，尝试与强占或破坏责任地的人进行友好沟通，明确表达您的诉求，要求其停止侵权行为，并恢复责任地的原状。

2. 证据保留：在协商过程中，务必保留好相关证据，如聊天记录、通话录音、现场照片或视频等。这些证据在后续处理中可能起到关键作用。

二、寻求基层组织调解

1. 向村委会反映：如果协商无果，您可以向所在村的村委会反映情况，请求他们介入调解。村委会作为基层组织，具有一定的权威性和调解能力。

2. 向乡镇政府反映：若村委会调解不成，您可以进一步向乡镇政府的相关部门（如农村土地承包管理部门）反映，请求他们进行调解或处理。

三、法律途径维权

1. 收集证据：在寻求法律途径之前，务必收集好能证明责任地归属您的证据，如土地承包经营权证、土地使用证明、土地承包合同等。同时，继续收集强占或破坏行为的证据。

2. 向国土资源部门反映：您可以向当地国土资源部门反映情况，要求他们依法查处强占或破坏责任地的行为。国土资源部门有权对违法占地行为进行查处，并责令退还非法占用的土地。

3. 提起民事诉讼：如果调解和行政处理均无法解决问题，您可以以侵权纠纷为案由，向人民法院提起诉讼。在诉讼过程中，要求对方承担停止侵害、排除妨碍、返还土地等民事责任，并赔偿因强占或破坏行为给您造成的损失。

4. 报案追究刑事责任：如果强占或破坏行为涉嫌犯罪（如非法占用农用地罪），您可以向公安机关报案，由公安机关依法追究其刑事责任。

四、注意事项

1. 诉讼时效：在维权过程中，要注意诉讼时效等法律规定。一般民事诉讼时效为三年，确保在法定时效内主张权利。

2. 损失计算：在提起诉讼时，如何准确计算因强占或破坏行为造成的损失是一个关键问题。您可以咨询专业律师或评估机构，以获取更准确的损失评估。

3. 后续问题处理：在解决强占或破坏问题后，可能还会涉及到土地补偿分配等后续问题。您需要继续关注并妥善处理这些问题，以确保自己的合法权益得到全面保障。

总之，当遇到农村责任地被别人强占或破坏的情况时，您应保持冷静，通过友好协商、基层组织调解和法律途径等多种方式来维护自己的合法权益。同时，要注意保留证据、遵守诉讼时效等法律规定，以确保维权过程合法有效。