定金罚则在未签订主合同的情况下，一般不能直接适用，但需结合具体情况判断。以下分情况详细说明：

1. 主合同未成立，定金合同效力待定
   根据《民法典》第五百八十六条，定金合同是实践合同，自实际交付定金时成立。但定金合同的目的是担保主合同的履行，若主合同因双方未达成合意而未成立（例如未就合同主要条款协商一致），定金合同虽成立，但因缺乏主合同这一生效要件，定金罚则（即收受定金方不履行债务需双倍返还，支付定金方不履行则丧失定金）无法直接适用。此时，定金应按不当得利返还，而非适用罚则。

2. 主合同未成立因一方过错导致，可能适用定金罚则
   若主合同未成立是因一方故意隐瞒重要事实、虚假承诺等过错行为导致（例如一方明确表示接受对方条件后反悔），虽主合同未签订，但过错方可能被认定为“拒绝订立主合同”，此时另一方可依据《民法典》第五百八十七条主张定金罚则。例如：甲向乙支付定金预订货物，乙收受定金后明确表示不再供货，虽未签订书面合同，但乙的行为构成违约，甲有权要求双倍返还定金。

3. 预约合同与本约合同的区分
   若双方签订的是“预约合同”（如认购书、订购书），约定未来订立主合同，并约定定金担保预约合同的履行，此时定金罚则可适用。例如：甲乙签订《房屋认购书》，约定“甲支付定金10万元，乙保留房屋，双方需在15日内签订正式买卖合同”，若乙拒绝签订正式合同，甲可依据预约合同主张定金罚则。但需注意：预约合同的定金与主合同定金性质不同，前者担保的是“签订主合同”的行为，后者担保的是“履行主合同”的义务。

实务建议：

• 若未签订主合同但希望定金发挥担保作用，建议明确约定定金性质（如“立约定金”），并保留书面证据（如聊天记录、转账备注）；
  
• 若主合同未成立因对方过错导致，及时固定证据（如录音、书面通知），通过协商或诉讼主张权利；
  
• 避免将“定金”与“订金”“诚意金”混淆，后者一般不具有担保性质，无法适用罚则。
  

如有具体案件细节，可进一步向我咨询，我会结合证据材料为您分析法律风险。