合同中约定保证金不予退回，并不一定显失公平，是否显失公平需结合具体情况判断。以下从不同角度进行分析：
一、显失公平的认定标准
根据《中华人民共和国民法典》的相关规定，显失公平是指一方利用对方处于危困状态、缺乏判断能力等情形，致使民事法律行为成立时显失公平的，受损害方有权请求人民法院或者仲裁机构予以撤销。在合同中约定保证金不予退回，若存在以下情形，则可能构成显失公平：
- 一方利用对方处于危困状态：例如，一方在急需资金、面临重大经营困难等紧急情况下，被迫接受对方提出的保证金不予退回的苛刻条件。
- 一方利用对方缺乏判断能力：例如，一方利用对方对合同条款不熟悉、对法律后果不了解等弱势地位，故意设置保证金不予退回的条款，使对方在不知情或无法充分理解的情况下签订合同。
二、保证金不予退回的合理性分析
然而，并非所有合同中约定保证金不予退回的条款都构成显失公平。在以下情况下，该条款可能具有合理性：
- 双方协商一致：如果双方在平等、自愿的基础上，经过充分协商，就保证金不予退回达成一致意见，且该约定不违反法律、行政法规的强制性规定，那么该条款是有效的。
- 保证金性质特殊：在某些特定类型的合同中，保证金可能具有特定的性质和作用。例如，在租赁合同中，保证金可能用于担保承租人履行合同义务，如按时支付租金、保持房屋完好等。如果承租人违反合同约定，出租人有权根据合同约定扣除保证金作为赔偿。在这种情况下，保证金不予退回的约定是合理的。
- 合同目的实现：如果保证金不予退回的约定是为了保障合同目的的实现，且该约定与合同目的直接相关、必要且合理，那么该条款也是有效的。例如，在招标投标合同中，投标人提交的投标保证金可能用于担保其按照招标文件的要求提交投标文件、参加开标会等。如果投标人违反这些义务，招标人有权根据合同约定扣除投标保证金。
三、法律建议
- 审查合同条款：在签订合同时，务必仔细审查合同条款，特别是关于保证金的约定。确保自己充分理解并同意这些条款，避免在不知情或无法充分理解的情况下签订合同。
- 协商修改条款：如果认为合同中关于保证金不予退回的约定显失公平或不合理，可以与对方进行协商，尝试修改或删除该条款。在协商过程中，可以引用相关法律法规和案例来支持自己的观点。
- 寻求法律救济：如果认为合同中关于保证金不予退回的约定确实显失公平且无法通过协商解决，可以向人民法院或仲裁机构提起诉讼或仲裁申请，请求撤销或变更该条款。
如有任何合同纠纷或经济纠纷方面的法律问题，可以直接向我咨询。我会根据你的具体情况，提供专业、全面的法律建议。