结论是需要赔钱。具体分析如下：
首先，我们要明确的是，无论是贫困户还是非贫困户，修房工人在工作中摔伤，都属于工伤范畴。根据《工伤保险条例》的相关规定，工人在工作时间和工作场所内，因工作原因受到事故伤害的，应当认定为工伤。
工伤认定：
- 修房工人在修房过程中摔伤，显然是在工作时间和工作场所内，因工作原因受到的伤害，因此应当认定为工伤。
- 工伤认定需要由用人单位或者工人本人（或者其近亲属）向当地的社会保险行政部门提出工伤认定申请，并提交相关材料。
赔偿责任：
- 一旦认定为工伤，工人就有权享受工伤保险待遇，包括医疗费用、康复费用、住院伙食补助费、交通食宿费、停工留薪期间的工资福利等。
- 如果用人单位没有为工人参加工伤保险，那么这些费用就应当由用人单位自行承担。
特殊情况：
- 如果修房工人是贫困户，且其家庭经济状况特别困难，那么在工伤赔偿之外，还可以考虑通过社会救助等渠道寻求进一步的帮助。
综上所述，贫困户修房工人摔伤是需要赔钱的，具体赔偿金额和方式会根据工伤认定的结果和工伤保险的参保情况来确定。如果用人单位没有为工人参加工伤保险，那么就需要由用人单位自行承担赔偿责任。如果你在这方面还有疑问或者需要进一步的法律帮助，请直接向我咨询。