若公司高管在外开公司违反了公司规章制度、竞业限制协议或相关法律法规，公司可采取的惩罚措施主要包括以下几种，具体需结合实际情况判断：

1. 依据公司规章制度处罚
   若公司章程或内部规章制度明确规定“高管不得在外设立与本公司业务存在竞争关系的公司”，且高管行为违反该规定，公司可依据制度对其作出警告、降薪、撤职等处分。
   关键点：需证明规章制度已通过民主程序制定（如职工代表大会审议），且高管知晓制度内容（如签字确认）。

2. 追究竞业限制违约责任
   若高管与公司签订了《竞业限制协议》，约定其在职或离职后一定期限内不得从事与本公司竞争的业务，而其在外开公司的行为违反协议，公司可要求其：

   • 停止违约行为（如关闭新公司或调整业务范围）；
     
   • 赔偿违约金（协议中约定的金额）；
     
   • 返还已支付的竞业限制补偿金（如协议有约定）。
     关键点：需证明新公司业务与本公司存在实质性竞争关系（如产品、客户群体重叠）。

3. 主张损害赔偿
   若高管在外开公司的行为导致本公司利益受损（如客户流失、商业秘密泄露），公司可要求其赔偿实际损失。
   举证要点：需提供损失计算依据（如财务数据、客户合同）及因果关系证明（如高管利用职务便利获取客户资源）。

4. 解除劳动合同并主张经济赔偿
   若高管行为构成“严重违反用人单位规章制度”或“严重失职，营私舞弊，给用人单位造成重大损害”，公司可依据《劳动合同法》第39条单方解除劳动合同，且无需支付经济补偿。
   风险提示：需确保解除程序合法（如提前通知工会、送达解除通知），否则可能被认定为违法解除，需支付2N赔偿金。

5. 刑事责任追责（极端情况）
   若高管在外开公司过程中存在职务侵占、挪用资金、非法经营同类营业罪等行为，可能触犯《刑法》，公司可向公安机关报案，追究其刑事责任。
   典型情形：利用职务便利将本公司资源（如资金、技术、客户）转移至新公司，损害本公司利益。

行动建议：

1. 立即固定证据（如新公司工商信息、业务合同、高管参与经营的证据）；
   
2. 核对公司规章制度、竞业限制协议等文件是否完备；
   
3. 根据损失程度选择协商、民事诉讼或刑事报案路径；
   
4. 涉及复杂情形时，可进一步提供细节，我将协助制定具体方案。