结论：能否追回被房贷扣走的款项，需根据款项性质、扣款原因及合同约定综合判断，存在不同可能性。以下分情况说明：

1. 若信用社放款与房贷扣款存在直接关联（如贷款用途被指定为偿还房贷）
   若您与信用社签订的贷款合同中明确约定“贷款资金用于偿还房贷”，或您在申请贷款时向信用社提供了房贷账户信息并授权扣款，则信用社根据合同约定将款项划转至房贷账户的行为具有合法性。此时，您无法追回被扣款项，但可要求信用社提供贷款发放及划转的书面凭证，确认操作符合合同流程。

2. 若信用社未经您同意擅自扣款（如操作失误或系统错误）
   若信用社在未取得您书面授权、未告知您扣款用途，或因自身操作失误（如误将款项划入他人账户）导致款项被房贷扣走，则属于违约或侵权行为。您可采取以下措施：

   • 立即联系信用社：要求其说明扣款原因，并提供扣款凭证（如转账记录、授权书等）；
     
   • 书面异议：若信用社无法提供合法依据，您可向其发送书面异议函，要求限期返还被扣款项；
     
   • 投诉或诉讼：若信用社拒绝返还，您可向当地银保监会投诉，或直接向法院提起民事诉讼，主张返还财产并赔偿损失（如利息损失）。

3. 若款项被扣与您存在其他债务纠纷（如信用社同时是房贷债权人）
   若信用社既是贷款发放方，又是您的房贷债权人（如您同时欠信用社房贷和另一笔贷款），且您未按时偿还房贷，则信用社可能依据《民法典》第675条（借款人未按约还款，贷款人可扣划借款人账户资金）行使抵销权。此时需核实：

   • 信用社是否已提前通知您扣款计划；
     
   • 扣款金额是否未超过您拖欠的房贷本金、利息及违约金总额；
     
   • 扣款是否未损害您的其他合法权益（如扣款后您无法支付必要生活费用）。
     若符合上述条件，扣款行为合法，您无法追回；若不符合，您可主张信用社返还超额扣款部分。

建议行动步骤：

1. 第一时间联系信用社，要求其出具扣款明细及法律依据；
   
2. 核对贷款合同、授权书等文件，确认扣款是否符合约定；
   
3. 若存在争议，保留转账记录、沟通记录等证据，及时咨询专业律师评估诉讼风险。
   

如有进一步疑问，可直接向我提问，我会结合具体细节为您详细分析。