关于中介要求您退建造师证是否合法的问题，这需要结合具体情况和相关法律法规来综合分析。

首先，我们要明确一点：如果您的建造师证是被挂靠到非供职单位，且您并未参与该单位的日常工作，却因此获取经济利益，这种行为即所谓的“挂证”，是不合法的。近年来，国家有关部门已经逐步加大清理打击“挂证”行为的力度，因为这种行为严重影响了国家职业资格制度的健康发展，扰乱了相关行业的市场发展秩序，甚至可能给公共安全、公民人身财产安全带来隐患。

接下来，我们分析中介要求您退证的情况：

1. 如果您的证书确实存在挂靠行为：

   • 中介要求您退证，可能是因为他们意识到这种行为的不合法性，或者受到了相关部门的查处压力。
   • 在这种情况下，您应该积极配合退证，因为继续挂靠不仅可能面临法律风险，还可能对您的职业声誉造成损害。

2. 如果您的证书并未挂靠，而是正常用于您的供职单位：

   • 中介无权要求您退证。您的证书是您职业资格的证明，应该由您自己决定如何使用。
   • 如果中介无理纠缠，您可以向相关部门投诉，维护自己的合法权益。

此外，根据《劳动法》的相关规定，用人单位不得扣押劳动者证件和要求提供担保。如果您的证书被某单位无故扣押，您有权要求该单位立即归还，并可以向劳动监察部门投诉。

综上所述，中介要求您退建造师证是否合法，取决于您的证书是否存在挂靠行为。如果存在挂靠行为，您应该积极配合退证；如果不存在挂靠行为，您有权拒绝中介的无理要求，并维护自己的合法权益。同时，我也建议您在未来的职业发展中，遵守相关法律法规，避免参与任何形式的“挂证”行为。