在建筑工程施工时发生安全生产事故，施工单位需要赔偿给建设单位的违约金数额并非固定，而是需依据双方签订的合同具体条款来确定。以下从不同角度为你详细分析：

一、合同约定优先

在建筑工程施工合同中，双方通常会就安全生产、违约责任等事项进行明确约定。如果合同中明确规定了发生安全生产事故时施工单位应支付的违约金数额或计算方式，那么应当首先遵循合同约定。例如，合同可能规定：“若因施工单位原因导致发生安全生产事故，施工单位需向建设单位支付合同总价款5%的违约金。”在此情况下，违约金的数额就是合同总价款的5%。

二、无约定或约定不明时的处理

如果合同中没有明确约定发生安全生产事故时的违约金数额或计算方式，或者约定不明，那么双方可能需要通过协商来确定违约金数额。协商时，可以考虑以下因素：

1. 事故的严重程度：事故造成的损失越大，施工单位可能需要支付的违约金也相应越高。
2. 施工单位的过错程度：如果施工单位在事故中存在重大过错，如违反安全生产规定、未采取必要的安全措施等，那么其可能需要承担更高的违约金。
3. 建设单位的实际损失：违约金的目的之一是补偿建设单位因事故而遭受的损失。因此，在协商违约金数额时，应充分考虑建设单位的实际损失情况。

三、法律规定的参考

虽然违约金数额主要依据合同约定，但法律也对违约金的合理性进行了一定限制。根据《中华人民共和国民法典》的相关规定，如果约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少；如果约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加。因此，在协商或确定违约金数额时，也应考虑法律的这一规定，确保违约金的数额既合理又合法。

四、实际操作建议

1. 仔细审查合同：在签订合同时，双方应仔细审查合同条款，特别是关于安全生产和违约责任的部分，确保条款明确、具体、合理。
2. 及时沟通协商：一旦发生安全生产事故，双方应及时沟通协商，就违约金数额等问题达成一致意见。
3. 寻求法律帮助：如果双方无法就违约金数额等问题达成一致意见，或者认为合同条款存在争议，可以寻求专业律师的帮助，通过法律途径解决纠纷。

总结来说，建筑工程施工时发生安全生产事故，施工单位需要赔偿给建设单位的违约金数额需依据合同具体条款来确定。如果合同中有明确约定，则遵循合同约定；如果合同中没有约定或约定不明，则双方应通过协商来确定违约金数额，并考虑事故的严重程度、施工单位的过错程度以及建设单位的实际损失等因素。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。