结论：高处坠落雇主责任保险有特别约定并不必然导致不赔偿，是否赔偿需根据特别约定的具体内容、保险条款及法律规定综合判断。以下分情况详细说明：

1. 特别约定内容合法且明确免责的情形

若特别约定中明确排除了高处坠落事故的赔偿责任（例如约定“因高处作业导致的伤亡不赔”），且该约定符合《保险法》及《工伤保险条例》的强制性规定（如不违反“雇主必须承担法定赔偿责任”的底线），则保险公司可能据此拒赔。
关键点：

• 免责条款需在保险合同中以显著方式提示（如加粗、加黑），且保险公司需向雇主明确说明，否则可能因未履行告知义务而无效（《保险法》第17条）。
  
• 若高处坠落属于雇主法定应承担的赔偿责任（如未提供安全防护措施导致事故），即使保险合同约定免责，雇主仍需自行赔偿，但可向保险公司主张合同无效或要求理赔。

2. 特别约定内容合法但未排除赔偿的情形

若特别约定仅对赔偿范围、限额或条件进行限制（例如约定“仅赔偿医疗费，不赔偿误工费”），或未明确排除高处坠落事故，则保险公司仍需在约定范围内承担赔偿责任。
关键点：

• 赔偿范围以保险合同约定为准，但不得低于法定最低标准（如《工伤保险条例》规定的工伤待遇）。
  
• 若雇主认为保险公司拒赔不合理，可要求其出具书面拒赔通知，并依据合同条款和法律规定主张权利。

3. 特别约定内容违法或无效的情形

若特别约定违反法律强制性规定（例如约定“无论雇主是否有过错均不赔”），或存在欺诈、胁迫等情形，则该约定无效，保险公司仍需按法定或合同约定赔偿。
关键点：

• 雇主责任保险的目的是转移雇主对员工的赔偿责任风险，若约定完全免除保险公司责任，可能因显失公平或违反公序良俗而被认定无效。
  
• 雇主可向当地银保监会投诉保险公司的不合理条款，或通过诉讼主张合同无效。

4. 实务建议

• 审查合同条款：雇主在投保时应仔细阅读特别约定，重点关注免责条款、赔偿范围及条件，必要时要求保险公司解释说明。
  
• 保留证据：发生事故后，及时固定现场证据（如安全措施情况、员工操作规范等），以证明雇主已履行法定义务，避免保险公司以“雇主过错”为由拒赔。
  
• 协商与诉讼：若与保险公司协商无果，可向当地劳动仲裁机构或法院申请裁决，要求保险公司按合同或法律赔偿。

总结：特别约定是否导致不赔偿需具体分析其内容合法性、明确性及与法定责任的冲突。雇主应优先通过合同审查和证据保留维护权益，必要时寻求法律途径解决争议。如有进一步疑问，可直接向我咨询具体案件细节。