物业公司在此情况下通常需要承担责任，但具体责任大小和承担方式需根据实际情况和合同约定来确定。以下从不同角度进行分析：

一、合同关系角度

1. 合同义务：在房屋交房整改期间，业主与物业公司之间通常存在一种服务合同关系（可能是前期物业服务合同或临时物业服务协议）。物业公司作为服务提供者，有义务妥善保管业主的房屋钥匙，并确保房屋的安全。
2. 违约责任：如果物业公司未能履行其保管义务，导致房屋被损坏，那么物业公司可能构成违约。根据《民法典》的相关规定，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。因此，物业公司可能需要承担修复房屋或赔偿损失的责任。

二、侵权责任角度

1. 侵权行为：如果物业公司的保管不善行为导致房屋被损坏，且该行为构成对业主财产权的侵害，那么物业公司还可能承担侵权责任。
2. 赔偿范围：根据《民法典》的规定，侵害他人财产的，财产损失按照损失发生时的市场价格或者其他合理方式计算。因此，物业公司可能需要按照房屋损坏的实际价值进行赔偿。

三、实际损失与因果关系角度

1. 实际损失：业主需要证明其因物业公司的保管不善行为而遭受了实际损失。这通常包括房屋修复费用、因房屋损坏而导致的其他直接经济损失等。
2. 因果关系：业主还需要证明物业公司的保管不善行为与其遭受的损失之间存在因果关系。即，如果物业公司妥善保管了钥匙，房屋就不会被损坏或损失不会如此严重。

四、合同约定与免责条款角度

1. 合同约定：如果业主与物业公司之间的合同中明确约定了物业公司在此情况下的责任承担方式（如赔偿限额、免责条款等），那么应按照合同约定执行。
2. 免责条款：如果合同中存在免责条款，且该条款不违反法律、行政法规的强制性规定，也不违背公序良俗，那么物业公司可能在一定程度上免除或减轻其责任。但需要注意的是，免责条款的效力需根据具体情况进行判断，并非所有免责条款都能被法院认可。

五、建议与行动

1. 收集证据：业主应尽快收集相关证据，包括房屋损坏的照片、视频、维修报价单等，以证明其实际损失和因果关系。
2. 与物业公司协商：在收集到足够证据后，业主可以与物业公司进行协商，要求其承担相应的赔偿责任。
3. 寻求法律途径：如果协商无果，业主可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁等。

作为专业律师，我提醒您：在处理此类纠纷时，务必保持冷静和理性，避免采取过激行为。同时，建议您在行动前咨询专业律师的意见，以确保您的权益得到充分保障。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。