结论：针对您签了责任认定书但对方不来签且不赔钱的情况，您可以通过协商、申请调解、提起诉讼等多种途径来维护自己的合法权益。

详细分析：

1. 协商解决：

   • 首先，您可以尝试与对方进行协商，明确告知对方其应承担的责任和赔偿义务。在协商过程中，保持冷静和理性，尽量以事实为依据，以法律为准绳，寻求双方都能接受的解决方案。

2. 申请调解：

   • 如果协商无果，您可以考虑向当地的调解组织（如人民调解委员会）申请调解。调解组织会安排调解员对双方进行调解，帮助双方达成和解协议。调解具有灵活性和高效性，且调解协议具有法律约束力，一旦达成，双方应履行。

3. 提起诉讼：

   • 如果调解也无法解决问题，您可以向人民法院提起诉讼。在诉讼过程中，您需要提交相关证据（如责任认定书、损失证明等）来支持自己的主张。法院会根据事实和法律规定作出判决，要求对方承担相应的赔偿责任。
   • 诉讼流程：
     • 准备起诉材料：包括起诉状、证据材料等。
     • 提交起诉材料：向有管辖权的人民法院提交起诉材料，并缴纳诉讼费。
     • 法院受理：法院对起诉材料进行审查，符合受理条件的，予以受理。
     • 开庭审理：法院安排开庭时间，对案件进行审理。
     • 判决：法院根据审理情况作出判决，要求对方承担赔偿责任。

4. 执行判决：

   • 如果对方在判决生效后仍不履行赔偿责任，您可以向人民法院申请强制执行。法院会采取一系列措施（如查封、扣押、拍卖等）来强制对方履行判决。

法律建议：

• 在处理此类纠纷时，建议您保留好所有相关证据，如责任认定书、损失证明、沟通记录等。这些证据将在后续协商、调解或诉讼过程中发挥重要作用。
• 如果您对法律程序不熟悉或感到困惑，可以考虑咨询专业律师（即我，廖宏浩律师）的意见。我可以根据您的具体情况提供针对性的法律建议和帮助。

可能后果：

• 如果对方始终不履行赔偿责任，且您未采取有效措施维护自己的权益，可能会导致您的损失无法得到弥补。
• 通过协商、调解或诉讼等途径解决纠纷，有助于维护您的合法权益，并促使对方承担应有的责任。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。