结论：针对您回迁房不想卖了且合同上写有百分之二十违约金的情况，您可能需要承担一定的违约责任，但具体责任大小及是否需支付全额违约金，需结合合同具体条款、实际损失情况及双方协商结果来确定。以下是从不同角度的详细分析：

1. 合同条款的效力：

   • 首先，要确认合同中关于违约金的条款是否合法有效。根据《中华人民共和国民法典》的相关规定，合同中的违约金条款是双方真实意思表示，且不违反法律、行政法规的强制性规定时，是有效的。因此，如果合同中明确约定了百分之二十的违约金，且该约定不违反法律规定，那么该条款对双方均具有约束力。

2. 违约金的调整：

   • 尽管合同中约定了违约金，但根据《民法典》的规定，如果约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。这意味着，如果卖方（您）认为百分之二十的违约金过高，且能够证明实际损失远低于该数额，那么您可以向法院或仲裁机构申请调整违约金数额。
   • 调整公式（若申请调整）：实际违约金 = 实际损失 × (1 + 合理利润率)。这里的“合理利润率”通常根据行业惯例、交易习惯等因素确定，且需确保调整后的违约金仍具有一定的惩罚性，以维护合同的严肃性。但具体数值需由法院或仲裁机构根据案件情况裁量。

3. 实际损失的认定：

   • 在决定是否调整违约金时，实际损失的认定是关键。实际损失通常包括因违约导致的直接经济损失（如买方已支付的定金、中介费、税费等无法收回的费用）和间接经济损失（如因房屋价格上涨而错过的售房机会等）。但间接经济损失往往难以准确计算，且需买方提供充分证据证明。

4. 双方协商的可能性：

   • 在诉讼或仲裁前，双方也可以尝试通过协商来解决纠纷。您可以与买方沟通，说明您不想卖房的原因，并尝试就违约金数额达成一致。如果双方能够协商一致，那么可以签订补充协议，明确新的违约金数额或免除违约金。

5. 法律后果的考量：

   • 如果您坚持不卖房且拒绝支付违约金，买方可能会选择通过法律途径来维护自己的权益。这可能导致您面临诉讼或仲裁程序，不仅需要承担法律费用，还可能因败诉而支付更高的违约金或赔偿买方的实际损失。

建议：

• 仔细审查合同条款，特别是关于违约金的约定，确保自己了解并承担相应的法律责任。
• 如果认为违约金过高，及时收集证据证明实际损失情况，并向法院或仲裁机构申请调整违约金数额。
• 尝试与买方进行友好协商，寻求双方都能接受的解决方案。
• 如果无法协商一致，且面临诉讼或仲裁风险，建议及时咨询专业律师（即我本人，游潘念律师，专注于法律顾问、房产纠纷领域），以便更好地维护自己的权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。