结论：对方说你非法营运，并不直接决定你是否需要赔偿。是否需要赔偿，主要取决于事故责任划分以及是否存在非法营运的事实及其对事故责任的影响。下面我从几个方面为你详细分析：
事故责任划分：
- 在交通事故中，赔偿责任的承担主要依据事故责任划分。如果交警部门出具的事故责任认定书认定你负有全部或部分责任，那么你通常需要根据责任比例承担相应的赔偿责任。
- 非法营运本身并不直接决定事故责任，但它可能作为事故发生的一个因素被考虑在内。例如，如果你因非法营运而超载、疲劳驾驶或违反交通规则，这些行为可能增加你在事故中的责任。
非法营运的影响：
- 非法营运是指未取得相关营运许可而从事营运活动的行为。如果对方能够证明你存在非法营运的事实，并且这一事实与事故发生有直接关系（如因非法营运导致的车辆状况不佳、驾驶员疲劳等），那么这可能影响事故责任的划分，进而影响赔偿责任的承担。
- 然而，即使你存在非法营运的行为，如果事故责任完全在对方，你仍然不需要承担赔偿责任。非法营运和事故责任是两个独立的问题，需要分别进行认定。
法律后果与应对建议：
- 如果对方仅凭口头指控你非法营运，而没有确凿证据，那么这一指控可能不成立。在这种情况下，你应坚持要求对方提供证据，并积极配合交警部门的调查。
- 如果对方确实提供了证据证明你非法营运，并且这一行为与事故发生有关，那么你可能需要承担一定的法律责任，包括行政处罚和可能的民事赔偿责任。但具体责任仍需根据事故责任认定书来确定。
- 建议：在处理此类事故时，你应尽快咨询专业律师，了解你的权利和义务，以及可能的法律后果。同时，积极收集证据，如行车记录仪视频、证人证言等，以证明你的清白或减轻你的责任。
特殊情况考虑：
- 如果你的车辆投保了交强险和商业险，那么保险公司可能会根据保险条款承担一定的赔偿责任。但需要注意的是，非法营运可能导致保险公司拒赔或部分拒赔。
- 在某些情况下，即使你存在非法营运的行为，但如果对方存在重大过错（如酒驾、闯红灯等），你仍然可能不需要承担赔偿责任或承担较小的赔偿责任。
总结与进一步行动建议：对方说你非法营运并不直接决定你是否需要赔偿。是否需要赔偿取决于事故责任划分以及非法营运事实的存在及其对事故责任的影响。在处理此类事故时，建议你尽快咨询专业律师，了解具体情况下的法律责任和应对策略。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。