结论：是否可以不赔这20%的违约金，不能一概而论，需要结合具体情况判断，以下分情况说明：

1. 合同约定合法有效且无特殊情形

   • 如果双方签订的购房合同中明确约定了若购房者违约不要房子，需按照房款的20%支付违约金，并且该合同是双方真实意思表示，不存在欺诈、胁迫、重大误解、显失公平等导致合同无效或可撤销的情形，同时该违约金的约定也没有违反法律法规的强制性规定（比如没有超出法律规定的合理范围等）。
   • 那么在这种情况下，从合同约定和法律规定的角度，您是需要按照合同约定向开发商支付这20%的违约金的，一般不可以不赔。因为合同一旦成立并生效，对双方都具有法律约束力，双方都应当按照合同约定履行自己的义务，否则就要承担相应的违约责任。

2. 违约金约定过高

   • 根据相关法律规定，当事人约定的违约金超过造成损失的百分之三十的，一般可以认定为“过分高于造成的损失”。如果开发商实际因您不要房子所遭受的损失远远低于房款的20%，例如开发商很快就将房子又卖给了其他人，几乎没有产生额外的损失或者损失很小。
   • 在这种情况下，您可以向法院或者仲裁机构请求适当减少违约金。法院或仲裁机构会根据开发商的实际损失、合同的履行情况、当事人的过错程度以及预期利益等综合因素，根据公平原则和诚实信用原则予以衡量，并作出裁决，可能会将违约金调整至一个更合理的数额，您可能就无需按照20%的比例全额赔偿。

3. 存在不可抗力等免责事由

   • 如果在合同履行过程中，出现了不可抗力等导致您无法继续履行合同、不得不不要房子的情况，比如因自然灾害、政府行为等不可预见、不可避免且不可克服的客观情况，使得您无法按照合同约定购买房子。
   • 根据法律规定，因不可抗力不能履行合同的，根据不可抗力的影响，部分或者全部免除责任，但法律另有规定的除外。在这种情况下，您可以主张免除或者部分免除支付违约金的责任，有可能不需要赔偿这20%的违约金。不过，您需要及时通知开发商，并在合理期限内提供证明。

4. 开发商存在违约行为

   • 如果在合同履行过程中，开发商存在先违约的行为，例如未按照合同约定的时间交付房屋、房屋存在严重质量问题等，并且这些违约行为是导致您不要房子的原因之一。
   • 那么您可以根据法律规定和合同约定，主张开发商的违约行为与您不要房子之间存在因果关系，要求减少或者免除自己支付违约金的责任。在这种情况下，您也有可能不需要赔偿这20%的违约金。