施工人设置的交通限速标志，一般不能直接作为交警部门认定违法的依据。以下从几个角度进行详细分析：
交通标志的设置权限与规范：
- 根据《中华人民共和国道路交通安全法》及相关规定，交通标志的设置应由交通管理部门负责，并需符合国家标准和规范。施工人虽然可能因施工需要设置临时交通标志，但这些标志并不等同于正式的交通管理标志。
- 施工人设置的限速标志，若未经交通管理部门批准或未按照国家标准设置，其法律效力会受到质疑。交警部门在执法时，通常会依据正式的交通管理标志来认定违法行为。
交警部门的执法依据：
- 交警部门在认定交通违法行为时，主要依据的是交通管理部门设置的正式交通标志、标线以及相关的交通法规。施工人设置的临时标志，除非得到交通管理部门的明确认可或授权，否则一般不被视为执法依据。
- 如果施工人设置的限速标志与交通管理部门设置的正式标志存在冲突或不一致，交警部门在执法时会以正式标志为准。
特殊情况下的考虑：
- 在某些特殊情况下，如施工区域确实需要临时限速以确保安全，且施工人已按照相关规定向交通管理部门报备并获得了批准，那么施工人设置的限速标志可能在一定程度上具有法律效力。但即便如此，交警部门在执法时仍会谨慎考虑，并可能结合其他证据（如现场情况、监控录像等）来综合判断。
- 另外，如果施工人设置的限速标志虽然未经正式批准，但确实是为了保障施工区域的安全，且该标志的设置合理、明显，没有误导驾驶员，那么在实际执法中，交警部门可能会给予一定的宽容度，但不会直接将其作为认定违法的依据。
法律建议：
- 对于施工人来说，如果因施工需要设置临时交通标志，应提前向交通管理部门报备并获得批准，确保标志的设置符合国家标准和规范。
- 对于驾驶员来说，在行驶过程中应密切关注交通标志和标线，特别是施工区域的临时标志，以确保行车安全。如果对某个标志的合法性或有效性有疑问，可以向交警部门咨询或查询相关规定。
总结来说，施工人设置的交通限速标志一般不能直接作为交警部门认定违法的依据。在实际执法中，交警部门会依据正式的交通管理标志和相关的交通法规来认定违法行为。如果你有关于交通运输方面的法律问题，可以直接向我咨询。