结论：乡政府是否有权拆除您刚搭建的雨棚，需根据雨棚搭建的合法性、是否违反相关法律法规及地方政策来判断。以下从多个角度进行分析：
一、雨棚搭建的合法性判断
是否取得规划许可：
- 根据《城乡规划法》的相关规定，在乡村规划区内进行建设，包括搭建雨棚等附属设施，应当符合乡村规划，并依法取得乡村建设规划许可证。若您未取得相关许可，则雨棚的搭建可能构成违法建设。
是否影响乡村规划实施：
- 即使您取得了规划许可，但如果雨棚的搭建影响了乡村规划的实施，如占用了公共空间、影响了相邻权人的合法权益等，乡政府仍有可能要求拆除。
二、乡政府的拆除权力来源
行政执法权：
- 乡政府作为基层行政机关，具有一定的行政执法权。在发现违法建设行为时，乡政府有权依法进行查处，包括要求拆除违法建筑。
地方性法规或政策：
- 除了国家层面的法律法规外，地方性法规或政策也可能对乡村建设行为进行具体规定。若您所在地区的地方性法规或政策明确禁止或限制在乡村搭建雨棚，乡政府则有权依据这些规定要求拆除。
三、可能的法律后果及建议
若雨棚搭建合法：
- 如果您能够证明雨棚的搭建是合法的，如已取得规划许可且未影响乡村规划实施，那么乡政府无权要求拆除。您可以向乡政府提供相关证明材料，维护自己的合法权益。
若雨棚搭建违法：
- 如果雨棚的搭建确实违反了相关法律法规或地方政策，那么乡政府有权要求拆除。在这种情况下，建议您积极配合乡政府的拆除工作，避免产生不必要的法律纠纷。同时，您也可以考虑在拆除后重新申请规划许可，按照合法程序进行搭建。
行政复议或诉讼途径：
- 如果您对乡政府的拆除决定有异议，认为其侵犯了您的合法权益，您可以依法申请行政复议或提起行政诉讼。在复议或诉讼过程中，您需要提供充分的证据证明自己的主张，并遵循相关法律程序。
建议：在处理此类问题时，建议您首先了解并遵守相关法律法规和地方政策，确保自己的建设行为合法合规。如果遇到乡政府要求拆除的情况，不要慌张或抗拒，而是应该积极与乡政府沟通，了解拆除的具体原因和依据，并根据实际情况采取相应的法律措施。如有需要，您可以直接向我咨询相关法律问题，我将为您提供专业的法律帮助。