结论：智障女儿签订的房屋买卖合同若被认定为无效，下家支付的钱款一般可以要求退还，但具体能否退还及退还的金额，需根据合同无效的原因、双方过错程度及实际损失情况等因素综合判断。
一、合同无效的法律基础
根据《中华人民共和国民法典》的相关规定，无效的民事法律行为自始没有法律约束力。若智障女儿因无民事行为能力或限制民事行为能力而签订的房屋买卖合同，该合同可能因缺乏行为能力人的有效意思表示而被认定为无效。合同无效后，因该合同取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方由此所受到的损失；各方都有过错的，应当各自承担相应的责任。
二、下家钱款退还的可能性
合同无效导致财产返还：
- 若房屋买卖合同被认定为无效，下家基于该合同支付的钱款（如定金、购房款等）原则上应由卖方（即智障女儿的法定代理人）返还。这是因为合同无效意味着双方之间的权利义务关系自始不存在，卖方因合同取得的钱款失去了合法依据。
双方过错程度的影响：
- 在判断钱款是否应全额退还时，需考虑双方在合同签订过程中的过错程度。若卖方（或其法定代理人）明知智障女儿无民事行为能力或限制民事行为能力而仍与其签订合同，可能被视为存在过错，需承担一定的赔偿责任。但下家作为购房方，也有义务对卖方的民事行为能力进行合理审查。若下家未尽到审查义务，也可能被视为存在一定过错，从而影响钱款的退还金额。
实际损失情况：
- 若因合同无效导致下家产生了实际损失（如购房机会的丧失、房屋市场价格波动带来的损失等），下家有权要求卖方赔偿。但赔偿金额需根据实际损失情况、双方过错程度等因素综合确定。
三、具体操作建议
收集证据：
- 下家应收集与房屋买卖合同相关的所有证据，包括合同文本、付款凭证、沟通记录等，以证明合同的存在、履行情况及自身的损失情况。
协商解决：
- 在证据充分的情况下，下家可以尝试与卖方（或其法定代理人）进行协商，寻求和解。协商过程中，双方可以就钱款的退还金额、方式及时间等事项达成一致意见。
法律途径：
- 若协商无果，下家可以向人民法院提起诉讼，要求确认合同无效并返还钱款。在诉讼过程中，下家需提供充分的证据证明合同无效的原因、自身的损失情况及卖方的过错程度等。
四、注意事项
- 在处理此类纠纷时，建议下家及时咨询专业律师，以确保自身权益得到充分保障。
- 鉴于智障女儿的特殊情况，其法定代理人（如父母、监护人等）在处理相关事务时应尽到谨慎义务，避免因自身行为导致不必要的法律纠纷。
如有进一步疑问或需要具体法律帮助，请直接向我咨询。