结论：对方不可以随意扣车。在车子撞到别人房子的情况下，对方无权直接扣留车辆，这涉及到物权保护和侵权责任的相关法律规定。
分析说明：
物权保护原则：
- 根据《中华人民共和国民法典》的相关规定，物权是权利人依法对特定的物享有直接支配和排他的权利。车辆作为您的个人财产，其物权受法律保护，任何单位和个人不得侵犯。
- 对方因您的车辆造成其房屋损坏，虽然有权要求您承担相应的赔偿责任，但这并不意味着对方有权直接扣留您的车辆。
侵权责任与赔偿：
- 如果您的车辆确实造成了对方的房屋损坏，您应当承担相应的侵权责任，包括赔偿对方的损失。
- 然而，赔偿责任的承担应当通过合法途径进行，如协商、调解、诉讼等，而不是通过私自扣留车辆的方式。
对方扣车的法律后果：
- 如果对方私自扣留您的车辆，这可能构成对您的物权的侵犯，您有权要求对方返还车辆，并可能因此要求对方承担相应的法律责任。
- 在极端情况下，如果对方的行为构成非法拘禁或抢劫等犯罪行为，您还可以向公安机关报案，追究对方的刑事责任。
行动建议：
- 与对方协商：首先，您可以尝试与对方进行协商，了解对方的损失情况，并就赔偿事宜达成一致意见。在协商过程中，您可以明确告知对方无权扣留您的车辆，并要求对方返还。
- 寻求调解或诉讼：如果协商无果，您可以考虑寻求第三方调解或向法院提起诉讼，通过法律途径解决纠纷。在调解或诉讼过程中，您可以要求对方返还车辆，并主张相应的赔偿权利。
- 报警处理：如果对方拒绝返还车辆或存在其他违法行为，您可以立即向公安机关报案，由公安机关依法处理。
特殊场景：
- 如果对方是在紧急情况下为了防止损失扩大而暂时扣留车辆（如车辆存在漏油、起火等危险情况），且事后及时通知了您并说明了情况，这种扣留行为可能具有一定的合理性。但即便如此，对方也应当在合理期限内返还车辆，并不得因此要求您承担额外的费用或责任。
后续思考依据：
- 在处理此类纠纷时，您应当保留好相关证据（如事故现场照片、视频、证人证言等），以便在协商、调解或诉讼过程中证明自己的权益。
- 同时，您也应当了解并遵守相关法律法规的规定，避免因自己的不当行为而加重法律责任。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。