结论：在农贸市场您开车直行，三轮车在旁边倒车撞到您，您是否有责任需根据具体情况判断，一般情况下若您无违规行为则可能无责，但若存在未注意观察等过错则可能需承担部分责任。以下为详细分析：

一、一般情况下的责任划分原则

在交通事故中，责任的划分主要依据《中华人民共和国道路交通安全法》以及相关的实施条例，核心原则是“过错责任原则”，即根据各方在事故中的过错程度来确定责任。具体到您的案例，三轮车在倒车过程中撞到了您直行的车辆，如果三轮车倒车时未确保安全，未观察周围环境，那么三轮车驾驶员很可能承担主要或全部责任。因为倒车时，驾驶员有义务确保后方安全，避免碰撞其他车辆或行人。

二、您可能承担责任的情况

虽然三轮车倒车撞到您，但在某些特定情况下，您也可能需要承担一定的责任。例如：

1. 您未注意观察周围环境：如果您在直行过程中，未注意观察周围环境，特别是未注意到三轮车的倒车行为，且这种疏忽与事故的发生有直接关系，那么您可能需要承担一定的责任。不过，这种责任通常较轻，因为倒车驾驶员有更明确的注意义务。
2. 您存在违规行为：如果您在直行过程中存在超速、未按规定车道行驶等违规行为，且这些行为与事故的发生有直接关系，那么您可能需要承担更重的责任。因为违规行为增加了事故的风险和严重性。

三、特殊情况下的责任划分

在某些特殊情况下，责任划分可能更加复杂。例如：

1. 农贸市场内的特殊规定：如果农贸市场内有特定的交通规定或管理要求，如限制车速、规定行驶路线等，且您或三轮车驾驶员违反了这些规定，那么责任划分可能需要考虑这些特殊因素。
2. 证据收集与证明：在事故发生后，证据的收集和证明对于责任划分至关重要。如果双方都无法提供充分的证据来证明自己的无过错或对方的过错，那么责任划分可能更加困难。在这种情况下，可能需要依靠交警部门的调查和鉴定来得出结论。

四、建议与措施

1. 及时报警并保护现场：在事故发生后，您应立即报警并保护现场，以便交警部门进行调查和鉴定。同时，您也可以拍摄现场照片或视频作为证据。
2. 收集证据并保留相关材料：除了现场证据外，您还可以收集其他相关证据，如目击者证言、行车记录仪视频等。同时，保留好医疗记录、修车发票等相关材料，以便后续索赔或诉讼。
3. 咨询专业律师：如果您对责任划分或后续处理有疑问或担忧，建议咨询专业律师。律师可以根据您的具体情况提供法律建议和帮助，维护您的合法权益。

最后，交通事故的责任划分是一个复杂而细致的过程，需要考虑多种因素。如果您有任何疑问或需要进一步的法律帮助，请直接向我咨询。