结论：您答应卖房并收取了买方的钱款，但后来却拒绝交付房屋，这种行为可能构成违约，买方有权要求您继续履行合同、赔偿损失或解除合同并要求返还钱款及赔偿。具体处理方式需根据合同内容、双方协商及法律程序来确定。

详细分析：

1. 合同关系与违约责任：

   • 您与买方之间已经形成了房屋买卖合同关系，即使合同是口头形式，只要双方意思表示真实且不违反法律规定，合同即成立并有效。
   • 您收取了买方的钱款，却拒绝交付房屋，这明显违反了合同约定，构成了违约行为。

2. 买方的权利：

   • 继续履行合同：买方有权要求您按照合同约定交付房屋，并办理相关的过户手续。
   • 赔偿损失：如果因您的违约行为给买方造成了损失（如购房机会的丧失、租房费用的增加等），买方有权要求您赔偿这些损失。
   • 解除合同并要求返还钱款及赔偿：在严重违约的情况下，买方还有权选择解除合同，并要求您返还已支付的钱款，同时赔偿因违约造成的损失。

3. 可能的法律后果：

   • 如果买方选择通过法律途径解决纠纷，您可能会面临法院的判决，要求您履行合同、赔偿损失或返还钱款及赔偿。
   • 如果您拒不履行法院判决，买方还可以申请强制执行，这可能会对您的信用记录和财产状况产生不利影响。

4. 建议处理方式：

   • 与买方协商：首先，我建议您与买方进行友好协商，看是否能够达成一个双方都能接受的解决方案，如延期交付房屋、部分退款或赔偿等。
   • 寻求法律帮助：如果协商无果，或者您对合同内容、违约责任等有疑问，我建议您及时咨询专业律师（即我本人，谢瑛律师，专注于房产纠纷领域），以便更好地了解您的权利和义务，并制定合适的应对策略。
   • 准备应对法律程序：如果买方选择通过法律途径解决纠纷，您需要做好应对法律程序的准备，包括收集证据、准备答辩材料等。

后续行动建议：

• 审查合同：仔细审查您与买方之间的房屋买卖合同，了解合同中的具体条款和双方的权利义务。
• 收集证据：收集与房屋买卖相关的所有证据，如收据、转账记录、聊天记录等，以备不时之需。
• 保持沟通：与买方保持沟通，尽量通过协商解决问题，避免矛盾升级。

如果您在处理此类纠纷时有任何疑问或需要进一步的法律帮助，请随时向我咨询。