结论：工厂搬迁距离20公里并给每月交通补贴500元，员工不去是否有赔偿，主要取决于劳动合同的具体约定、搬迁对员工通勤及工作生活的影响程度，以及双方是否能协商一致。以下是对此问题的详细分析：
一、劳动合同有明确约定工作地点的情况
搬迁影响小：
- 若搬迁后的新地址仍在员工合理的通勤范围内，且每月500元的交通补贴足以弥补通勤成本的增加，未对员工生活造成实质性不利影响，一般不需要支付经济补偿。
搬迁影响大：
- 协商一致解除：若搬迁导致通勤距离显著增加，即使有交通补贴，仍影响员工正常生活和工作，双方可协商一致解除劳动合同。根据《中华人民共和国劳动合同法》第四十六条，用人单位需向劳动者支付经济补偿。经济补偿的计算方式为：按劳动者在本单位工作的年限，每满一年支付一个月工资；六个月以上不满一年的，按一年计算；不满六个月的，支付半个月工资。月工资指劳动合同解除或终止前十二个月的平均工资。
- 员工主动辞职：若员工因搬迁导致的通勤困难等问题主动辞职，且工厂未按照劳动合同约定提供劳动条件（如合理的通勤环境），根据《中华人民共和国劳动合同法》第三十八条第一项，劳动者可以解除劳动合同，并依据第四十六条第一项，用人单位亦需支付经济补偿。
二、劳动合同没有明确约定工作地点的情况
合理范围内的调动：
- 若劳动合同未明确约定工作地点，且搬迁距离在20公里以内，结合当地交通状况，员工能通过合理方式正常通勤，且每月500元的交通补贴被视为合理补偿，通常不被视为对劳动合同的重大变更，员工应服从安排，无赔偿。
超出合理范围的调动：
- 若搬迁对员工工作和生活造成重大不利影响，如通勤时间过长、成本过高，且工厂未提供足够的补偿措施（如增加交通补贴、提供班车等），员工有权拒绝前往新厂址工作，并要求用人单位支付经济补偿，标准同上。
三、其他考虑因素
- 协商一致与书面形式：双方可就劳动合同内容协商达成一致并修正，但变更劳动合同应采用书面形式，并由双方各执一份，以确保双方权益。
- 实质性影响判断：判断搬迁是否对员工造成实质性影响，需综合考虑通勤时间、成本及家庭生活等因素。若搬迁未造成实质性影响，员工拒绝前往新地点工作，用人单位可能无需支付经济补偿。
建议：
- 员工：应仔细查阅劳动合同中关于工作地点的条款，评估搬迁对自身通勤及工作生活的影响。若认为影响较大，可与工厂进行协商，要求增加补偿或协商解除劳动合同并支付经济补偿。
- 工厂：应遵守相关法律法规，确保员工权益得到妥善保障。在搬迁前，应与员工进行充分沟通，了解员工需求，提供合理的补偿措施，以减少劳动纠纷的发生。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。