结论：在您与买方签订了房屋买卖合同且买方已支付5万定金的情况下，如果您不想继续出售房屋，通常需要向买方双倍返还定金，即赔偿10万元。但具体赔偿金额可能因合同条款、双方协商及实际损失情况而有所不同。
分析说明：
定金罚则：
- 根据《中华人民共和国民法典》的相关规定，定金是作为债权的担保而存在的。在房屋买卖合同中，如果卖方（您）违约，通常需要向买方双倍返还定金。这是定金罚则的基本原则，旨在保护买方的合法权益，并惩罚卖方的违约行为。
- 在您的情况下，买方已支付5万定金，如果您不想继续出售房屋，则根据定金罚则，您需要向买方双倍返还定金，即赔偿10万元。
合同条款：
- 房屋买卖合同中可能包含关于定金、违约责任及赔偿的具体条款。这些条款可能对定金罚则的适用、赔偿金额的计算方式等有具体规定。
- 因此，在确定具体赔偿金额时，应首先审查合同条款。如果合同中有明确规定，则按照合同条款执行；如果合同中没有明确规定或规定不明确，则参照相关法律法规和司法实践进行确定。
双方协商：
- 在实际操作中，双方可能通过协商达成一致意见，以解决违约赔偿问题。协商的结果可能因双方的具体情况和谈判能力而有所不同。
- 如果您与买方能够就赔偿金额达成一致意见，并且该意见不违反法律法规的强制性规定，那么该意见将作为解决违约赔偿问题的依据。
实际损失情况：
- 如果买方因您的违约行为遭受了实际损失（如重新购房的成本增加、租房费用等），并且这些损失超出了定金罚则所规定的赔偿范围，那么买方可能有权要求您承担额外的赔偿责任。
- 在这种情况下，赔偿金额将不仅限于双倍返还定金，还可能包括买方因违约行为所遭受的实际损失。
行动建议：
- 审查合同条款：首先，仔细审查房屋买卖合同中关于定金、违约责任及赔偿的具体条款，以确定赔偿金额的计算方式和依据。
- 与买方协商：尝试与买方进行协商，就赔偿金额达成一致意见。在协商过程中，保持冷静和理性，尊重对方的权益和诉求。
- 寻求法律帮助：如果您与买方无法就赔偿金额达成一致意见，或者您对合同条款、法律法规的理解存在疑问，建议寻求专业律师的法律帮助。律师将能够根据您的具体情况和法律法规的规定，为您提供专业的法律意见和解决方案。
特殊场景：
- 如果合同中明确规定了其他违约责任（如违约金、赔偿损失等），并且这些责任与定金罚则并存时，买方可能有权选择适用其中一种或多种责任方式。在这种情况下，赔偿金额的计算将更加复杂，需要根据合同条款和法律法规的具体规定进行确定。
计算公式（在仅适用定金罚则的情况下）：
赔偿金额 = 定金金额 × 2 = 5万元 × 2 = 10万元
如有其他复杂情况或需要进一步的法律帮助，请直接向我咨询。