协议书上的赔偿金是否可以不认，需视具体情况而定。以下从不同角度为您详细分析：
一、协议书本身的合法性与有效性
合法签订的协议书：如果协议书是在双方自愿、平等、公平的基础上签订的，且内容不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议书具有法律效力。在这种情况下，协议书上的赔偿金条款也是有效的，您不能随意不认。
存在瑕疵的协议书：如果协议书存在欺诈、胁迫、乘人之危等情形，或者内容显失公平，那么该协议书可能被认定为无效或可撤销。在这种情况下，您有权对协议书上的赔偿金条款提出异议，甚至不认。但需要注意的是，您需要提供充分的证据来证明协议书存在上述瑕疵。
二、赔偿金条款的合理性
合理的赔偿金：如果赔偿金条款是合理的，即赔偿金额与违约行为造成的损失相当，那么您应当按照协议书上的约定支付赔偿金。在这种情况下，不认赔偿金可能构成违约，需要承担相应的法律责任。
过高的赔偿金：如果赔偿金条款明显过高，超出了违约行为可能造成的损失范围，那么您可以请求法院或仲裁机构予以适当减少。但需要注意的是，您需要提供充分的证据来证明赔偿金过高，且该请求需要在诉讼或仲裁过程中提出。
三、实际操作建议
审查协议书：首先，您需要仔细审查协议书的内容，包括赔偿金条款的约定是否合法、合理。如果发现协议书存在瑕疵或赔偿金条款不合理，您可以考虑与对方协商修改或撤销协议书。
收集证据：如果您认为协议书存在瑕疵或赔偿金过高，您需要收集充分的证据来支持您的观点。这些证据可能包括协议书签订时的背景资料、对方的行为记录、相关法律法规等。
寻求法律帮助：如果您对协议书上的赔偿金条款有异议，且无法与对方协商解决，您可以寻求法律帮助。作为专业律师，我可以为您提供法律咨询和代理服务，帮助您维护自己的合法权益。
总结来说，协议书上的赔偿金是否可以不认，取决于协议书本身的合法性与有效性、赔偿金条款的合理性以及您的实际操作。如果您对协议书上的赔偿金条款有异议，建议您先仔细审查协议书内容，收集相关证据，并在必要时寻求法律帮助。