赠予双方是可以约定退还赠予的。以下从不同角度为你详细分析：
法律背景与依据
根据《中华人民共和国民法典》的相关规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。在赠与合同中，双方当事人可以基于意思自治原则，对赠与的条件、方式、撤销等事项进行约定。这包括约定在特定条件下赠与财产的退还。
约定退还赠与的合法性
意思自治原则：赠与合同作为民事合同的一种，受意思自治原则的支配。双方当事人在平等、自愿的基础上，可以就赠与合同的各项条款进行协商，包括约定退还赠与的条件和方式。
不违反法律强制性规定：只要双方约定的退还赠与条款不违反法律、行政法规的强制性规定，不违背公序良俗，就是合法有效的。例如，双方可以约定在受赠人严重违反赠与合同约定的义务时，赠与人有权要求退还赠与的财产。
约定退还赠与的实践应用
附条件的赠与：双方可以在赠与合同中约定附条件的退还条款。例如，赠与人可以约定，如果受赠人在一定期限内未达到特定的条件（如学业成绩、工作表现等），则赠与人有权要求退还赠与的财产。
附义务的赠与：赠与合同也可以约定附义务的条款。如果受赠人不履行赠与合同约定的义务，赠与人有权要求退还赠与的财产。这种约定既体现了赠与人的意愿，也保障了赠与人的合法权益。
注意事项
明确约定：双方在约定退还赠与时，应当明确约定退还的条件、方式、期限等具体事项，以避免未来产生纠纷。
书面形式：为了保障双方的权益，建议将赠与合同及退还赠与的约定以书面形式固定下来，并由双方签字或盖章确认。
法律咨询：在约定退还赠与时，如果涉及复杂的法律问题或财产价值较大，建议咨询专业律师的意见，以确保约定的合法性和有效性。
可能的法律后果
如果双方约定了退还赠与的条款，并且该条款合法有效，那么在满足约定条件时，赠与人有权要求受赠人退还赠与的财产。如果受赠人拒绝退还，赠与人可以通过法律途径维护自己的合法权益，如向法院提起诉讼要求受赠人履行退还义务。
综上所述，赠予双方是可以约定退还赠予的。在约定时，双方应当遵循意思自治原则，确保约定不违反法律强制性规定，并明确约定退还的条件、方式等具体事项。如果你有任何关于赠与合同或退还赠与的法律问题，可以直接向我咨询。