关于“土地肥力变差损失谁来承担赔偿”的问题，这需要根据具体情况来分析确定责任主体和赔偿义务。

首先，我们需要明确土地肥力变差的原因。土地肥力变差可能由多种因素导致，包括但不限于自然因素（如土壤侵蚀、气候变化等）、人为因素（如过度耕作、不合理施肥、污染等）以及外部因素（如邻近工地施工、污染物排放等）。

1. 若因自然因素导致：

   • 一般情况下，自然因素导致的土地肥力变差属于不可抗力范畴，很难直接归责于某个具体的责任主体。在这种情况下，损失可能需要由土地所有者或使用者自行承担。但如果政府有相关政策或保险机制来支持因自然灾害导致的损失，可以考虑通过这些途径寻求补偿。

2. 若因人为因素导致：

   • 如果土地肥力变差是由于某个个体或组织的不当行为（如过度耕作、不合理施肥、故意污染等）造成的，那么该个体或组织应当承担相应的赔偿责任。受害者可以通过法律途径要求其进行赔偿，包括恢复土地肥力的费用、因土地肥力变差导致的产量损失等。

3. 若因外部因素导致：

   • 如果土地肥力变差是由于邻近工地施工、污染物排放等外部因素造成的，受害者应当首先尝试与造成污染或损害的责任方进行协商，要求其停止侵害并赔偿损失。如果协商无果，同样可以通过法律途径来维护自己的合法权益。

在确定责任主体和赔偿义务时，建议受害者收集相关证据（如土壤检测报告、损失评估报告、现场照片等）以支持自己的主张。同时，也可以咨询当地农业部门、环保部门或专业律师以获取更具体的法律建议和指导。

综上所述，土地肥力变差损失的赔偿责任主体需要根据具体情况来确定。如果是自然因素导致的，很难直接归责于某个责任主体；如果是人为因素或外部因素导致的，则应当追究相关责任方的赔偿责任。在任何情况下，受害者都应当积极收集证据并寻求法律帮助以维护自己的合法权益。