如果单位不向员工发放专利奖励，是有可能面临处罚或法律纠纷的。具体来说：

1. 法律规定：

   • 《专利法》第十五条明确规定，被授予专利权的单位应当对职务发明创造的发明人或者设计人给予奖励；发明创造专利实施后，还应根据其推广应用的范围和取得的经济效益，给予合理的报酬。
   • 《专利法实施细则》进一步细化了奖励和报酬的具体方式和数额，如未与发明人、设计人约定，单位应在专利权公告之日起3个月内发给奖金，且奖金数额有明确的最低标准。

2. 法律后果：

   • 如果单位未依法执行上述规定，发明人或设计人有权向法院提起诉讼，要求单位支付应得的奖励和报酬。
   • 在司法实践中，法院通常会支持发明人或设计人的合理诉求，并判决单位支付相应的奖励和报酬。
   • 此外，单位还可能因违反法律规定而面临行政处罚或声誉损失等不利后果。

3. 建议：

   • 单位应建立健全的专利奖励和报酬制度，明确奖励和报酬的支付方式和数额，以确保员工的合法权益得到保障。
   • 单位在与员工签订劳动合同时，可以明确约定专利奖励和报酬的相关条款，以避免后续的法律纠纷。
   • 如果单位与员工之间因专利奖励和报酬问题产生争议，建议双方通过协商或调解的方式解决，以减少不必要的法律成本和风险。

综上所述，单位不向员工发放专利奖励是违反法律规定的，并可能面临法律纠纷和处罚。因此，建议单位依法执行专利奖励和报酬制度，以确保员工的合法权益和单位的合法经营。