结论：是否只能按合同返还定金需视具体情况而定，并非绝对只能按合同约定处理。以下从不同角度进行分析：
- 合同有明确约定且合法有效时
- 如果合同中明确且合法地约定了定金返还的条件、方式等内容，例如约定在特定情况下只返还定金本金，或者按照一定比例返还等，且该约定不违反法律、行政法规的强制性规定，不违背公序良俗，那么一般应按照合同约定来处理。这是因为合同是双方当事人意思自治的体现，在合法有效的前提下，对双方具有约束力。比如，甲乙双方签订了一份房屋买卖合同，约定若买方因自身原因放弃购买，卖方只退还买方已支付定金的50%，这种约定只要不违反法律规定，就是有效的，双方需遵守。
- 合同约定违法或存在可撤销、无效情形时
- 违法约定：若合同中关于定金返还的约定违反了法律、行政法规的强制性规定，例如约定定金数额超过主合同标的额的20%（根据法律规定，定金的数额由当事人约定，但不得超过主合同标的额的百分之二十，超过部分不产生定金的效力），超过部分无效，此时对于超过法定限额部分的定金，不能按照合同约定处理，而应按照法律规定来确定返还方式。
- 可撤销或无效合同：如果合同存在可撤销的情形，如因重大误解、欺诈、胁迫等签订的合同，或者合同本身无效，如以合法形式掩盖非法目的等，那么合同中关于定金返还的约定也可能随之无效或可被撤销。在这种情况下，定金的返还就不能仅仅依据原合同约定，而是要根据法律规定，如返还财产、折价补偿、赔偿损失等原则来处理。例如，一方以欺诈手段使对方在违背真实意思的情况下签订合同并支付定金，受欺诈方有权请求人民法院或者仲裁机构撤销合同，合同被撤销后，因该合同取得的财产，应当予以返还，此时就不能按照原合同中不合理的定金返还约定执行。
- 合同未约定或约定不明确时
- 当合同中没有对定金返还作出约定，或者约定不明确时，需要根据相关法律规定和交易习惯来确定。根据《民法典》等相关法律规定，收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金；给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，，无权请求返还定金。如果是因为不可抗力等不可预见、不可避免、不可克服的原因导致合同无法履行，双方互不承担违约责任，定金应当返还，但具体返还方式可能需要根据实际情况协商确定或依据法律规定处理。例如，甲乙双方签订了一份演出合同，约定甲方向乙方支付定金，后因突发自然灾害导致演出无法进行，此时双方均无过错，定金应返还，但返还的具体金额、方式等可能需要进一步协商。