施工人员不交回资料和图纸，应向项目的建设单位或者施工单位的管理部门反映情况，并寻求解决。具体分析如下：

一. 明确责任主体

1. 建设单位责任：根据《建设工程质量管理条例》等相关法规，建设单位是工程建设的主体，负责工程建设的全过程管理。若施工人员不交回资料和图纸，首先应向建设单位的管理部门反映，由其协调解决。
2. 施工单位责任：施工单位负责具体的施工活动，包括资料的整理和图纸的保管。若施工人员属于施工单位，且不交回资料和图纸，同样可以向施工单位的管理部门投诉，要求其采取措施解决。

二. 具体解决途径

1. 向管理部门反映：向建设单位或施工单位的管理部门详细说明情况，包括不交回资料和图纸的具体内容、时间、地点等，以及可能产生的后果。
2. 寻求法律援助：若通过管理部门无法解决问题，或者涉及法律纠纷，可以寻求法律援助，通过法律途径维护自身权益。

三. 实际操作建议

• 及时沟通：与不交回资料和图纸的施工人员及时沟通，了解其不交回的原因，尝试通过协商解决问题。
• 保留证据：在反映问题或寻求法律援助前，务必保留好相关证据，如施工合同、资料清单、图纸目录等，以便后续处理。

我建议，在遇到施工人员不交回资料和图纸的情况时，应首先明确责任主体，然后向相应的管理部门反映情况，并寻求解决。若问题无法得到解决，可以考虑通过法律途径维护自身权益。如有进一步需要，您可以继续咨询我。