房主无权直接扣车，您有权要求房主返还车辆，若房主拒绝，您可以通过法律途径解决。以下从不同角度为您详细分析：

从房主行为合法性角度

房主因车辆撞坏其房子而直接扣车，这种行为在法律上缺乏依据，属于侵权行为。根据《民法典》中关于物权保护的规定，物权受到侵害的，权利人可以通过和解、调解、仲裁、诉讼等途径解决，但不能擅自采取扣押等私力救济方式。房主若认为您应承担赔偿责任，应当通过合法途径，如协商、诉讼等，来主张自己的权利，而不是直接扣留您的车辆。

从您的权利角度

您作为车辆的所有权人，对自己的车辆享有占有、使用、收益和处分的权利。房主擅自扣车，侵犯了您的物权。您有权要求房主立即返还车辆，若房主拒绝，您可以采取以下措施：

1. 与房主协商：尝试与房主进行友好沟通，说明扣车行为的不合法性，要求其返还车辆，并就房屋损坏的赔偿问题进行协商。在协商过程中，您可以提出合理的赔偿方案，以促成双方达成一致。
2. 报警处理：如果协商无果，您可以向公安机关报案。公安机关在接到报案后，会进行调查核实。若认定房主的行为违法，会责令房主返还车辆，并可能对房主进行相应的处罚。
3. 提起诉讼：若通过协商和报警都无法解决问题，您可以向法院提起诉讼，要求房主返还车辆，并赔偿因扣车给您造成的损失，如车辆停运损失、交通费用等。在诉讼过程中，您需要提供相关证据，如车辆所有权证明、房主扣车的证据等，以支持自己的主张。

从赔偿问题角度

虽然房主无权扣车，但您作为驾驶大货车的司机，在倒车过程中撞坏房子，确实应当承担相应的赔偿责任。赔偿范围通常包括房屋的修复费用、因房屋损坏导致的其他损失等。您可以在要求房主返还车辆的同时，与房主就赔偿问题进行协商。如果双方无法达成一致，也可以通过诉讼或仲裁等方式解决赔偿纠纷。在处理赔偿问题时，建议您保留好相关证据，如事故现场照片、维修费用清单等，以便在需要时提供证明。