结论：在您描述的情况下，是否需要支付违约金取决于合同中的具体约定以及违约金的性质和目的。如果合同中明确规定了违约金，且该违约金是为了担保合同的履行而设定的，那么即使双方未开始建房且未造成实际损失，违约方也可能需要按照合同约定支付违约金。但如果违约金约定过高或过低，或者合同中的违约金条款存在其他问题，则可能需要根据实际情况进行调整或认定无效。
详细分析：
合同中的违约金条款：
- 首先，需要仔细审查建房合同中关于违约金的条款。合同中是否明确规定了违约金的数额或计算方式？违约金的设定目的是什么？是为了担保合同的履行，还是仅仅作为一种惩罚措施？
- 如果合同中明确规定了违约金，并且该违约金是为了担保合同的履行而设定的（即具有补偿性和惩罚性双重性质），那么违约方在违反合同约定时，通常需要按照合同约定支付违约金。
违约金的性质和目的：
- 违约金的主要目的在于担保合同的履行，当一方违约时，另一方可以通过要求支付违约金来获得一定的经济补偿，以弥补因违约而遭受的损失。
- 如果违约金约定过高，可能被视为对违约方的过度惩罚，法院或仲裁机构可能会根据实际情况进行调整，以降低违约方的负担。
- 反之，如果违约金约定过低，可能无法充分补偿守约方因违约而遭受的损失，此时守约方也可以要求增加违约金的数额。
实际损失与违约金的关系：
- 在您描述的情况下，双方未开始建房且未造成实际损失。然而，这并不意味着违约方不需要支付违约金。因为违约金的支付并不完全取决于实际损失的大小，而是取决于合同中的约定以及违约金的性质和目的。
- 如果合同中的违约金条款是合法有效的，并且违约方确实违反了合同约定，那么即使未造成实际损失，违约方也可能需要按照合同约定支付违约金。
可能的法律后果：
- 如果违约方拒绝支付违约金，守约方可以通过法律途径追究违约方的责任，包括提起诉讼或申请仲裁等。
- 在诉讼或仲裁过程中，法院或仲裁机构会根据合同中的约定、违约金的性质和目的以及实际情况等因素来综合判断违约方是否需要支付违约金以及支付的数额。
建议：
- 建议您仔细审查建房合同中的违约金条款，了解违约金的数额、计算方式以及设定目的等信息。
- 如果合同中的违约金条款存在疑问或不明确之处，建议您及时与对方协商解决，或者咨询专业律师以获取更具体的法律建议。
- 如果双方无法就违约金问题达成一致意见，您可以考虑通过法律途径来维护自己的合法权益。
如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。