结论：针对您的情况，维权的关键在于明确供养协议与您建房时约定之间的法律关系及效力，通过协商、调解或诉讼等途径来维护自身权益。以下从不同角度为您详细分析：

协议效力与内容审查

1. 供养协议的合法性：首先，要审查您与村集体签订的供养协议是否符合法律规定。供养协议通常涉及到您在成为“五保户”后，由村集体提供生活照料等供养服务，而您可能将房屋等财产作为供养的对价。如果协议是在双方自愿、平等的基础上签订，且内容不违反法律、行政法规的强制性规定，那么该协议是合法有效的。
2. 建房约定的明确性：您提到建房时有“生老病死都我管，去世房归我”的约定。这一约定需要明确其性质，是口头约定还是书面协议？如果是口头约定，是否有其他证据（如证人证言）可以佐证？同时，要明确这一约定是否与供养协议存在冲突或补充关系。

维权途径

1. 协商与调解：
   • 与村集体协商：您可以首先尝试与村集体进行协商，明确双方的权利义务，特别是关于房屋归属的问题。在协商过程中，您可以出示建房时的相关证据，以支持您的主张。
   • 寻求第三方调解：如果协商无果，您可以寻求当地人民调解委员会或其他中立第三方的调解。调解过程中，调解员会协助双方沟通，寻求合理的解决方案。
2. 诉讼途径：
   • 确认协议效力：如果供养协议或建房约定存在争议，您可以通过诉讼途径请求法院确认协议的效力。法院将根据双方提供的证据和法律规定，判断协议是否合法有效。
   • 主张房屋所有权：如果法院确认建房时的约定合法有效，且该约定与供养协议不冲突，您可以主张对房屋的所有权。在诉讼过程中，您需要提供充分的证据证明建房时的约定及您的履行情况。

注意事项

1. 证据收集：在维权过程中，证据的收集至关重要。您需要收集建房时的相关证据（如建房合同、付款凭证、证人证言等），以及供养协议的相关证据（如协议文本、履行情况等）。
2. 法律程序：维权过程中需要遵循一定的法律程序。如果您不熟悉法律程序，建议寻求专业法律人士的帮助，以确保您的权益得到有效维护。
3. 保持冷静与理性：在维权过程中，保持冷静与理性至关重要。避免采取过激行为或言语攻击，以免加剧矛盾或影响维权效果。

建议：鉴于您的情况涉及复杂的法律关系和证据收集，我建议您尽快咨询专业律师，以便更全面地了解您的法律权益和维权途径。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。