不去交警部门配合对比会有影响，且影响较为严重。以下从几个方面为你详细分析：

法律责任层面

根据《中华人民共和国道路交通安全法》第九十九条规定，未取得机动车驾驶证、机动车驾驶证被吊销或者机动车驾驶证被暂扣期间驾驶机动车的，由公安机关交通管理部门处二百元以上二千元以下罚款，可以并处十五日以下拘留。交警已经通过监控拍到你无证驾驶的行为，并打电话通知你去对比，这是正常的执法流程。如果你不去配合，交警部门有权依据相关证据直接对你作出上述处罚决定，不会因为你的不配合而免除你的违法责任。

执法程序层面

交警部门在处理交通违法行为时，有一套严谨的执法程序。他们通过监控设备获取违法证据后，需要进一步核实违法嫌疑人的身份等信息。打电话让你去对比，就是为了确认开车的人是否为你本人。如果你拒绝配合，这可能会被视为阻碍执法。根据《中华人民共和国治安管理处罚法》第五十条规定，阻碍国家机关工作人员依法执行职务的，处警告或者二百元以下罚款；情节严重的，处五日以上十日以下拘留，可以并处五百元以下罚款。所以，不配合交警工作可能会面临更严重的处罚。

后续影响层面

• 影响个人信用：现在很多地区都在建立交通违法信用体系，无证驾驶本身就是严重的交通违法行为，如果再加上不配合执法，这可能会被记录在你的交通违法信用档案中。这会对你今后的生活产生诸多不便，比如可能会影响你申请贷款、办理信用卡等金融业务，因为金融机构在审核你的信用状况时，会参考你的交通违法记录。
• 增加处理难度和成本：如果你不去配合对比，交警部门为了完成执法程序，可能会采取其他措施来确认你的身份，比如上门调查、通过其他部门协助查询等。这不仅会增加交警部门的工作难度和成本，也会让你面临更多的麻烦和压力。而且，一旦通过其他方式确认了你的身份，你可能会面临更严厉的处罚，因为你的不配合行为会被视为情节加重的因素。

给你的建议：

• 积极配合：接到交警电话后，应该积极主动地前往交警部门配合对比工作，如实说明情况。这是遵守法律、尊重执法权的表现，也有利于问题的顺利解决。
• 接受处罚并改正：如果确认是你无证驾驶，要诚恳地接受交警部门的处罚，并尽快考取机动车驾驶证，以后遵守交通法规，合法驾驶。

如果你还有其他关于交通违章方面的疑问，可以直接向我咨询。