当交通责任认定书下来后，如果对方不赔偿，您可以按照以下步骤来处理：
尝试协商：
- 首先，您可以与对方进行协商，明确责任认定书的内容以及赔偿的金额、方式和时间。
- 保留好协商的记录，以备后续使用。
向法院提起诉讼：
- 如果协商无果，您可以向对方所在地或事故发生地的基层法院提起诉讼。
- 提前准备好起诉状以及相关的证据材料，如交通责任认定书、医疗费用票据、车辆定损单等。
- 法院会根据事故责任划分、双方的损失情况等进行审理，并依法作出判决。
申请强制执行：
- 如果判决生效后，对方仍然不履行赔偿义务，您可以向法院申请强制执行。
- 法院会通过查封、扣押、拍卖对方财产等方式，强制对方履行赔偿责任。
注意诉讼时效：
- 请注意，诉讼时效一般为三年，从您知道或应当知道权利被侵害之日起计算。
- 确保在诉讼时效内提起诉讼，以维护您的合法权益。
此外，您还可以考虑以下途径来维护自己的权益：
- 申请人民调解委员会调解：双方当事人可以共同向人民调解委员会提出申请，达成调解协议后，若一方不履行，另一方可向法院申请司法确认，并凭生效文书申请强制执行。
- 申请公安机关交通管理部门调解：在收到事故认定书之日起十日内书面申请，达成协议后对方不履行，可向法院起诉。
总之，当交通责任认定书下来后，如果对方不赔偿，您不必过于担心。通过协商、诉讼等法律途径，您可以有效地维护自己的合法权益。如果您在这个过程中遇到任何法律问题或需要进一步的帮助，请随时向我咨询。