结论：施工方拒绝付居间费时，总包方一般无权直接扣押居间费，但具体能否扣押需根据合同约定、法律规定及实际情况综合判断。以下从不同角度进行分析：
一、合同约定角度
居间合同约定：
- 如果施工方与居间人之间签订了居间合同，并且合同中明确约定了居间费的支付方式、支付时间以及违约责任等条款，那么施工方应当按照合同约定履行支付居间费的义务。
- 若施工方拒绝支付，居间人可以依据居间合同向施工方主张权利，要求其支付居间费及可能产生的违约金。
总包方与施工方合同：
- 总包方与施工方之间的合同，通常不会直接涉及居间费的支付问题。除非总包方与施工方在合同中特别约定了总包方有权在特定情况下扣押施工方的款项（包括居间费），否则总包方无权直接扣押。
二、法律规定角度
居间合同法律关系：
- 根据《中华人民共和国民法典》中关于居间合同的规定，居间人促成合同成立的，委托人应当按照约定支付报酬。因此，施工方作为委托人，有义务支付居间费。
债权债务关系：
- 居间费是施工方与居间人之间的债权债务关系，总包方并非该债权债务关系的当事人，因此一般无权直接介入或扣押。
代位权行使的限制：
- 即使居间人认为施工方怠于行使其对总包方的到期债权，居间人也不能直接要求总包方支付居间费，除非符合法律规定的代位权行使条件，并且这一过程需要通过法律程序进行，不能由总包方自行扣押。
三、实际操作角度
沟通协商：
- 在施工方拒绝支付居间费的情况下，居间人可以先尝试与施工方进行沟通协商，了解其拒绝支付的原因，并寻求解决方案。
法律途径：
- 如果沟通协商无果，居间人可以依据居间合同及相关法律规定，向法院提起诉讼或申请仲裁，要求施工方支付居间费及可能产生的违约金。
总包方协助：
- 在某些情况下，总包方可能愿意协助居间人解决居间费支付问题，但这通常需要施工方、居间人和总包方三方之间的协商和同意。总包方不会单方面决定扣押施工方的款项来支付居间费。
建议：
- 对于居间人而言，在签订居间合同时，应明确约定居间费的支付方式、支付时间以及违约责任等条款，以便在施工方拒绝支付时能够依据合同主张权利。
- 对于总包方而言，应谨慎处理与施工方及居间人之间的债权债务关系，避免未经合法程序擅自扣押施工方的款项。
- 在遇到类似纠纷时，建议各方及时咨询专业律师，以便根据具体情况制定合适的解决方案。