结论：在您已经写好赔偿金协议且对方签字的情况下，若对方赖账，您是有可能追回赔偿金的，但具体能否追回以及追回的方式，需根据实际情况来判断。以下从多个角度为您详细分析：
一、协议的法律效力
有效协议：如果赔偿金协议是双方真实意思的表示，且内容不违反法律、行政法规的强制性规定，不违背公序良俗，那么该协议是具有法律效力的。对方签字后，即表示其认可协议内容，应当按照协议约定履行支付赔偿金的义务。
无效或可撤销协议：如果协议存在欺诈、胁迫、显失公平等情形，或者违反法律、行政法规的强制性规定，那么该协议可能是无效或可撤销的。在这种情况下，您可能需要先通过法律程序确认协议的效力，再进一步考虑追回赔偿金的问题。
二、追回赔偿金的途径
协商：首先，您可以尝试与对方进行协商，了解其赖账的原因，并寻求双方都能接受的解决方案。如果对方愿意履行支付义务，那么问题就可以得到圆满解决。
调解：如果协商无果，您可以考虑寻求第三方调解机构的帮助，如人民调解委员会等。调解机构可以协助双方进行沟通，促成双方达成和解协议。
诉讼：如果调解也无法解决问题，您可以向人民法院提起诉讼，要求对方按照协议约定支付赔偿金。在诉讼过程中，您需要提供充分的证据证明协议的存在、对方的签字以及对方未履行支付义务的事实。如果法院认定协议有效且对方确实存在违约行为，那么法院会判决对方支付赔偿金。
三、证据的收集与保存
协议原件：您需要妥善保存赔偿金协议的原件，这是证明协议存在和对方签字的最直接证据。
其他证据：除了协议原件外，您还可以收集其他与协议履行相关的证据，如转账记录、聊天记录、录音录像等。这些证据可以辅助证明对方未履行支付义务的事实。
四、可能面临的法律后果
对方履行支付义务：如果法院判决对方支付赔偿金，且对方在判决生效后履行了支付义务，那么您的问题就得到了解决。
对方不履行支付义务：如果对方在判决生效后仍不履行支付义务，您可以向法院申请强制执行。法院会采取一系列措施来强制对方履行支付义务，如查封、扣押、拍卖对方的财产等。
建议：在处理此类纠纷时，建议您保持冷静和理性，通过合法途径来维护自己的权益。如果您对法律程序不熟悉或者担心自己无法处理好此类纠纷，可以随时向我咨询，我会根据您的具体情况为您提供专业的法律建议和帮助。