您有权要求施工方立即停止侵害、恢复原状并赔偿损失，可通过协商、行政投诉或民事诉讼三种途径维权。以下是具体分析：

一、法律定性：施工方行为涉嫌侵权

根据《民法典》第1165条、第1167条及第1258条，施工方未经您同意占用责任田堆放泥土石渣，构成对土地承包经营权的侵害，需承担停止侵害、排除妨碍、恢复原状、赔偿损失等民事责任。若施工方未设置警示标志或采取安全措施，导致您人身或财产受损，还需承担侵权责任。

二、维权路径选择

1. 协商解决（优先推荐）

• 步骤：直接联系施工方负责人，明确要求其限期清理堆放物、恢复土地原状，并协商赔偿因土地占用导致的损失（如农作物减产、土地复垦费用等）。
• 优势：效率高、成本低，适合争议较小的情况。
• 注意：协商过程中建议录音或书面确认对方承诺，避免口头协议无证据。

2. 行政投诉（快速干预）

• 途径：向当地自然资源局（原国土局）或农业农村局投诉，要求查处非法占用农用地行为。
• 依据：根据《土地管理法》第77条，非法占用土地的，由县级以上政府自然资源主管部门责令退还土地、恢复原状。
• 效果：行政机关介入后，施工方可能面临罚款或强制清理，推动问题快速解决。

3. 民事诉讼（终极手段）

• 条件：若协商、投诉无果，可向法院提起侵权之诉，要求施工方：
  1. 立即停止侵害（清理堆放物）；
  2. 恢复土地原状（如平整土地、复垦）；
  3. 赔偿损失（包括直接损失如农作物损失，及间接损失如土地肥力下降导致的长期减产）。
• 证据准备：土地承包合同、现场照片/视频、损失评估报告（如需）、协商记录等。

三、关键行动建议

1. 固定证据：立即拍摄现场照片、视频，记录堆放物范围、数量及土地现状，保留与施工方沟通的记录（如短信、录音）。
2. 书面催告：若协商，建议通过EMS向施工方发送《律师函》或《书面催告函》，明确要求限期清理并赔偿，留存邮寄凭证。
3. 联合维权：若涉及多名村民，可集体投诉或起诉，增强维权力度。

四、风险提示

• 若施工方系政府项目（如公路扩建），可能涉及行政征收程序。若您未收到征收补偿通知，施工方行为仍属违法，可同时要求征收部门履行补偿义务。
• 避免自行清理堆放物，否则可能被施工方反诉“损坏财物”，应通过法律途径解决。

如需进一步协助起草法律文书或计算赔偿金额，可随时向我咨询具体方案。