您签订的私底下赔偿五千的协议，在特定情况下可能不算数，尤其是当实际伤残赔偿远超五千元时。以下是对此问题的详细分析：
一、协议的有效性
双方真实意思表示：如果双方在签订协议时，均是基于真实的意思表示，且没有受到欺诈、胁迫等不正当手段的影响，那么该协议在形式上可能是有效的。但关键在于，协议的内容是否公平合理，是否反映了双方的真实权益。
显失公平：根据《民法典》的相关规定，如果一方利用对方处于危困状态、缺乏判断能力等情形，致使民事法律行为成立时显失公平的，受损害方有权请求人民法院或者仲裁机构予以撤销。在您的情况下，如果五千元的赔偿远低于您实际应得的伤残赔偿，那么该协议可能构成显失公平。
二、实际伤残赔偿与协议赔偿的差异
伤残鉴定：首先，您需要进行伤残鉴定，以确定您的伤残等级。伤残等级是计算伤残赔偿金的重要依据。
赔偿计算：根据伤残等级和相关的赔偿标准，您可以计算出应得的伤残赔偿金。如果这个数额远大于五千元，那么您之前签订的协议显然无法满足您的实际需求。
三、法律建议
协商撤销或变更协议：您可以尝试与对方协商，看是否能够撤销或变更之前的协议，以反映您实际应得的赔偿。
法律途径：如果协商无果，您可以考虑通过法律途径来维护自己的权益。具体来说，您可以向人民法院提起诉讼，请求撤销或变更之前的协议，并要求对方按照实际伤残情况支付赔偿金。
证据收集：在采取任何行动之前，请确保您已经收集了足够的证据来支持您的主张。这包括但不限于医疗记录、伤残鉴定报告、与对方协商的记录等。
四、可能的法律后果
协议被撤销或变更：如果法院认定之前的协议显失公平，那么该协议可能会被撤销或变更。这意味着您将有机会获得按照实际伤残情况计算的赔偿金。
承担诉讼费用：如果您选择通过法律途径来解决问题，那么您可能需要承担一定的诉讼费用。但请放心，如果您的主张得到法院的支持，那么这部分费用可能会由对方承担。
建议您尽快咨询专业律师（即我本人），以便更详细地了解您的权益和可能的法律途径。如果您有任何关于劳动工伤、工伤鉴定和赔偿等方面的问题，都可以直接向我咨询。