可以按实际损失向法院起诉。当交通事故赔偿协议的责任方不履行时，受害方完全有权依据相关法律法规，通过诉讼方式来维护自己的合法权益。以下是对此问题的详细分析：
一、法律依据
《中华人民共和国民法典》的相关规定：
- 交通事故赔偿协议属于民事合同的范畴，具有合同的法律效力。根据《民法典》的规定，当事人应当依法履行该协议。如果一方不履行协议约定的赔偿义务，另一方有权依据《民法典》的相关规定，向法院提起诉讼，要求对方履行赔偿协议或承担违约责任。
- 具体来说，《民法典》第一千一百七十九条规定了对于他人人身权益侵害的赔偿责任，包括医疗费用、护理费用、交通费用、营养费用、误工损失等，以及残疾赔偿和死亡赔偿。这为交通事故赔偿提供了基本的法律框架。
《中华人民共和国道路交通安全法》的相关规定：
- 该法第七十四条明确指出，对交通事故损害赔偿的争议，当事人可以请求公安机关交通管理部门调解，也可以直接向人民法院提起民事诉讼。如果经公安机关交通管理部门调解后，当事人未达成协议或者调解书生效后不履行的，当事人可以向人民法院提起民事诉讼。
二、起诉的流程与准备材料
起诉流程：
- 向有管辖权的人民法院（一般是事故发生地或者被告住所地法院）提起民事诉讼。
- 法院立案受理后，会安排开庭审理。双方需按时到庭，进行举证、质证等环节。
- 法院会根据事实和法律作出判决。如果被告仍然不履行判决确定的义务，原告可以在规定时间内申请强制执行，通过法院强制被告履行赔偿义务。
准备材料：
- 民事起诉状：明确原被告信息、诉讼请求（如要求对方履行赔偿协议、承担违约责任等）以及事实和理由。
- 交通事故赔偿协议：作为起诉的重要依据，证明双方曾就赔偿事宜达成协议。
- 事故责任认定书：由公安机关交通管理部门出具，证明事故的责任划分。
- 相关损失的证据：如医疗费票据、伤残鉴定报告等，用于证明实际损失的大小。
三、特殊情况的处理
协议可撤销的情形：
- 如果赔偿协议存在重大误解、显失公平、欺诈、胁迫或乘人之危等情形，该协议可被视为可撤销合同。在这种情况下，受害方可以请求法院撤销协议，并重新确定赔偿金额。
行人故意制造事故的情况：
- 如果行人故意制造事故（如“碰瓷”等行为），而另一方并无过错，那么另一方不承担赔偿责任。在这种情况下，如果责任方（行人）不履行赔偿协议，另一方自然无需承担任何法律责任。
四、实际指导意义
在面临交通事故赔偿协议未履行的情况时，受害方应首先收集并保存好所有相关证据，包括交通事故责任认定书、赔偿协议文本、损失证据等。然后，及时咨询专业律师（在这里就是直接向我咨询啦），了解起诉流程和可能遇到的法律问题。通过法律途径维护自己的合法权益是最为稳妥和有效的方式。
总结来说，当交通事故赔偿协议的责任方不履行时，受害方完全有权按实际损失向法院起诉。在起诉过程中，应准备好相关材料，并遵循法律程序进行。如果有任何疑问或需要进一步的法律帮助，请随时向我咨询。