结论：在没有签订合同的情况下，商家拒绝退定金和本金，能否要求商家退还，需根据具体情况判断，主要看定金的性质以及双方是否存在事实上的合同关系。以下从不同角度为你详细分析：
定金性质角度
- 若定金具有担保性质
- 根据《中华人民共和国民法典》第五百八十六条规定，当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。定金的数额由当事人约定；但是，不得超过主合同标的额的百分之二十，超过部分不产生定金的效力。实际交付的定金数额多于或者少于约定数额的，视为变更约定的定金数额。
- 如果商家和你有关于定金担保的约定（即使没有书面合同，但有聊天记录、录音等证据能证明），并且你交付了定金，那么定金就具有担保性质。在这种情况下，如果是你作为给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；如果是商家作为收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。例如，你向商家预订了一批货物并支付了定金，之后商家无法按照约定提供货物，那么商家就应当双倍返还你支付的定金。
- 若定金不具有担保性质，仅为预付款
- 如果定金只是作为预付款，不具有担保合同履行的作用，那么在双方没有签订合同且交易未达成的情况下，商家应当退还你支付的定金和本金。因为预付款只是你提前支付给商家的部分款项，在交易未完成时，商家没有理由占有这部分款项。比如，你只是向商家表达了购买意向并支付了一部分钱作为预付款，但后来你不想购买了，且商家也没有为履行合同做任何准备工作，此时商家就应退还你支付的款项。
事实合同关系角度
- 若存在事实上的合同关系
- 即使没有签订书面合同，但如果双方已经通过实际行动履行了合同的主要义务，那么就视为存在事实上的合同关系。例如，你向商家下单购买商品，商家接受了你的订单并开始准备发货，你也支付了定金和部分货款，这种情况下就形成了事实上的买卖合同关系。如果商家拒绝退还定金和本金，你可以根据合同的具体履行情况，要求商家继续履行合同或者承担违约责任，包括退还定金和本金等。
- 若不存在事实上的合同关系
- 如果双方只是进行了初步的沟通，没有实际履行任何合同义务，那么商家拒绝退还定金和本金的行为可能缺乏合法依据。在这种情况下，你可以与商家协商解决，要求商家退还款项；如果协商不成，你可以向消费者协会投诉或者向人民法院提起诉讼，维护自己的合法权益。
建议：
- 收集证据：尽量收集能够证明你与商家之间交易情况的证据，如聊天记录、转账记录、订单信息等，这些证据将有助于你维护自己的权益。
- 与商家协商：先尝试与商家进行友好协商，说明你的诉求和理由，看是否能够达成一致意见，让商家退还定金和本金。
- 寻求第三方帮助：如果协商无果，你可以向消费者协会投诉，寻求他们的帮助和调解；也可以直接向人民法院提起诉讼，通过法律途径解决纠纷。
如果你还有其他疑问或需要进一步的法律帮助，可以直接向我咨询。