结论：车辆违规扣分并不一定都算在车主（您）一个人身上，具体要看是谁在驾驶车辆时发生了违规行为。
分析说明：
实际驾驶人原则：
- 根据交通管理法规，车辆违规的扣分通常是针对实际驾驶人的，而不是车主。也就是说，如果您的老公在驾驶您的车辆时发生了违规行为，那么扣分应该记在他的驾驶记录上，而不是您的。
- 交通管理部门在处理违规行为时，会依据监控录像、交警现场执法记录等证据来确定实际驾驶人，并据此进行扣分和处罚。
车主的责任与义务：
- 作为车主，您有责任确保车辆的使用符合交通法规，但这并不意味着您需要承担所有因车辆使用而产生的违规扣分。
- 如果您能够证明违规行为是由他人（如您的老公）在驾驶车辆时发生的，那么您就不应该承担该违规行为的扣分责任。
特殊情况下的责任划分：
- 在某些特殊情况下，如车辆被盗用、被借用后发生违规且车主无法证明非自己驾驶等，车主可能需要承担一定的责任。但这些情况并不适用于您所描述的情形，即您的老公一直开您的车。
- 如果您的老公使用您的车辆时发生了违规行为，并且您能够提供相关证据（如行车记录仪录像、交警执法记录等）证明非您驾驶，那么您就不应该被扣分。
法律建议：
- 如果您发现车辆有违规扣分记录，但并非您本人驾驶时发生的，建议您及时与交通管理部门联系，提供相关证据以证明非您驾驶，并申请撤销或更改扣分记录。
- 为了避免类似的纠纷和误解，建议您与您的老公明确沟通车辆使用的责任和义务，确保双方都了解并遵守交通法规。
后续行动指南：
- 如果您需要处理车辆违规扣分问题，可以携带相关证据（如行车记录仪录像、交警执法记录、车辆使用记录等）前往交通管理部门进行申诉。
- 在日常使用中，建议您定期查看车辆的违规记录，确保及时发现并处理任何非本人驾驶产生的违规问题。
如有其他疑问或需要进一步的法律帮助，请随时向我咨询。