关于您提出的“约定地址送达被退回的送达时间怎么算”的问题，根据最高人民法院印发的《关于进一步加强民事送达工作的若干意见》中的相关规定，我可以给您一个清晰、详细且深度的解答。

首先，我们需要明确的是，送达是民事案件审理过程中的重要程序事项，它保障了人民法院依法公正审理民事案件，并及时维护当事人的合法权益。在送达过程中，当事人需要提供准确的送达地址，并确认该地址的有效性。

针对您的情况，如果约定地址送达的文书被退回，根据《关于进一步加强民事送达工作的若干意见》的第七条，具体规定如下：“因当事人提供的送达地址不准确、拒不提供送达地址、送达地址变更未书面告知人民法院，导致民事诉讼文书未能被受送达人实际接收的，…邮寄送达的，文书被退回之日为送达之日。”

这意味着，当邮寄的诉讼文书因当事人提供的地址不准确、拒不提供地址、或地址变更未告知法院而被退回时，文书被退回的日期即被视为送达的日期。这一规定确保了即使在实际未能将文书送达至当事人手中的情况下，也能确定一个明确的送达时间，从而不影响案件的审理进程。

综上所述，约定地址送达被退回的送达时间，按照文书被退回之日来计算。这一规定既保障了当事人的诉讼权利，也提高了民事送达的质量和效率。希望这个解答能够对您有所帮助。