对于迟到早退五次或五十次以上的处罚，并非由统一的法律规定，而是通常由各单位内部的管理制度或劳动合同进行约定。以下是对此问题的详细分析：

一. 单位内部管理制度或劳动合同的约定

• 单位通常会在其内部管理制度或劳动合同中明确规定员工迟到、早退的次数及相应的处罚措施。这些规定可能因单位性质、行业特点以及管理需求的不同而有所差异。
• 例如，有的单位可能规定迟到早退五次以上即视为严重违纪，可给予警告、罚款、扣减绩效等处罚；而有的单位则可能将五十次以上迟到早退作为解除劳动合同的条件。

二. 法律法规的间接涉及

• 虽然我国法律并未直接规定迟到早退的具体次数及处罚，但《中华人民共和国劳动法》和《中华人民共和国劳动合同法》等法律法规保护劳动者的合法权益，同时也赋予用人单位一定的管理权。
• 用人单位在制定内部管理制度或劳动合同时，应确保其内容不违反法律法规的强制性规定，且对劳动者具有约束力。

三. 实际处理建议

• 我建议您首先查阅所在单位的内部管理制度或劳动合同，了解关于迟到早退的具体规定及处罚措施。
• 如对相关规定有疑问或认为处罚不公，可与单位人事部门或管理层进行沟通协商，或依法向劳动监察部门投诉举报。

综上所述，迟到早退五次或五十次以上的处罚并非由统一法律规定，而是取决于单位内部的管理制度或劳动合同的约定。因此，在处理此类问题时，应首先了解并遵守单位的相关规定。如有进一步需要，您可以继续咨询我。