在合同中，双方确实可以约定履约保证金，但这一约定需要遵循一定的法律原则和规定。

首先，从合法性的角度来看，根据《中华人民共和国民法典》的意思自治原则，合同双方在不违反法律法规的强制性规定、不违背公序良俗的前提下，是有权自由协商并约定保证金条款的。履约保证金的主要作用在于确保合同的一方能够按照约定履行其义务，如果违约，则可能会面临保证金被扣除的后果，这样的设计有助于增强合同双方的信用和责任感。

其次，履约保证金在实践中的应用是相当广泛的。在多种类型的合同中，如租赁合同、建设工程合同等，我们经常会看到保证金的约定。以建设工程合同为例，发包人可能会要求承包人缴纳履约保证金，以确保工程能够按质按量按时完成。这种约定在商业交易中是非常常见的，也是保障合同顺利履行的一种有效手段。

然而，我们也需要注意到，并非所有的合同都必须约定保证金。合同是否约定保证金，并非强制要求，而是取决于合同双方当事人的协商，以及合同的性质、目的和交易习惯等因素。例如，在一些即时清结的合同中，如超市购买日用品等小额交易，由于交易即时完成，风险相对较低，因此一般不会约定保证金。

此外，在约定保证金时，我们还需要特别注意一些限制情况。比如，某些特殊领域或特定类型的合同，如劳动合同，根据《中华人民共和国劳动合同法》的规定，用人单位是不得要求劳动者提供担保或以其他名义向劳动者收取财物的，因此这类合同中就不能约定保证金。同时，保证金条款的约定也应合理且公平，如果条款明显违背公序良俗，或者导致双方权利义务严重失衡、显失公平，那么该条款可能会被认定为无效。

最后，我想强调的是，在约定保证金时，双方应充分考虑合同的具体情况、双方的意愿以及实际履行能力。保证金数额应合理设定，避免过高或过低，以确保其既能起到保障合同履行的作用，又不会给任何一方造成过重的经济负担。

综上所述，合同中约定履约保证金是合法的，但双方在约定时应严格遵守法律法规的强制性规定，遵循公平、合理的原则，以确保合同的合法性和有效性。