结论：施工方将泥土和石渣堆放在您的责任田里，这侵犯了您的土地使用权，您有权要求施工方停止侵害、恢复原状，并可能要求赔偿损失。
法律背景与解释：
土地使用权保护：
- 根据《中华人民共和国土地管理法》及相关规定，土地使用权人依法对国家所有的土地享有占有、使用和收益的权利，有权利用该土地建造建筑物、构筑物及其附属设施。您的责任田作为您的土地使用权范围，受到法律保护，任何单位和个人不得非法侵占或破坏。
施工方的侵权行为：
- 施工方在未经您同意的情况下，将泥土和石渣堆放在您的责任田里，这明显侵犯了您的土地使用权。施工方的行为构成了对您的财产权的侵害，您有权要求施工方承担相应的法律责任。
您的权利与救济途径：
- 停止侵害：您有权要求施工方立即停止将泥土和石渣堆放在您的责任田里的行为，防止损害进一步扩大。
- 恢复原状：施工方应负责清理堆放在您责任田里的泥土和石渣，恢复土地的原状，确保您的土地能够正常使用。
- 赔偿损失：如果施工方的行为给您造成了经济损失，如农作物受损、土地肥力下降等，您有权要求施工方赔偿相应的损失。
法律建议：
与施工方协商：
- 首先，您可以尝试与施工方进行协商，明确表达您的诉求和权益，要求施工方立即停止侵害、恢复原状，并协商赔偿事宜。
收集证据：
- 在协商过程中，建议您收集相关证据，如现场照片、视频、证人证言等，以证明施工方的侵权行为和给您造成的损失。这些证据将在后续的法律程序中起到关键作用。
寻求法律援助：
- 如果协商无果，您可以考虑寻求法律援助，向当地法律援助机构或律师咨询，了解具体的法律程序和维权途径。作为专业律师，我也可以为您提供相关的法律咨询和帮助。
提起诉讼：
- 在必要时，您可以向人民法院提起诉讼，要求施工方承担法律责任，维护您的合法权益。法院将根据事实和法律规定，作出公正的判决。
可能法律后果：
- 如果施工方拒绝履行其义务，您通过法律途径维权成功后，施工方可能需要承担停止侵害、恢复原状、赔偿损失等民事责任。同时，如果施工方的行为构成违法或犯罪，还可能面临行政处罚或刑事责任。
进一步思考：
- 在处理此类纠纷时，除了考虑法律途径外，还可以考虑通过调解、仲裁等非诉讼方式解决争议，以节省时间和成本。但无论选择哪种方式，都应确保您的合法权益得到充分保护。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。