整改责任应由开发商或建设单位承担。以下是对此问题的详细分析：

一. 基于物业服务合同的约定

根据《物业管理条例》第四十一条，业主应当根据物业服务合同的约定交纳物业服务费用。然而，这一条款通常适用于物业已经交付给业主之后的情况。在物业尚未出售或者尚未交给物业买受人的情况下，物业服务费用应由建设单位交纳。因此，如果整改发生在物业交付给业主之前，那么整改责任及由此产生的费用应由开发商或建设单位承担。

二. 基于消费者权益保护法的角度

《中华人民共和国消费者权益保护法》第二十四条规定，经营者提供的商品或者服务不符合质量要求时，消费者有权要求经营者履行更换、修理等义务，且在此过程中，经营者应当承担必要的费用。虽然该条款未直接提及物业费，但可以理解为整改期间物业无法正常使用，属于经营者提供的服务不符合质量要求所产生的后果之一，故相关费用应由经营者（即开发商或建设单位）承担。

三. 基于民法典的相关规定

《中华人民共和国民法典》第五百七十七条和第五百八十三条分别规定了当事人一方不履行合同义务或者履行合同义务不符合约定时，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。在物业质量问题整改期间，若开发商或建设单位未能按照合同约定的质量标准交付物业，导致业主无法正常使用并产生物业费损失，则开发商或建设单位应当承担相应的违约责任，包括赔偿业主在此期间的物业费损失。

我建议：在面临此类问题时，业主应首先与开发商或建设单位进行沟通，明确整改责任及费用承担问题。如沟通无果，业主可以寻求法律途径解决争议，维护自身合法权益。如有进一步需要，您可以继续咨询我。