如果缺少用人单位管理你的证据，不必过于担心，根据法律规定，部分证据应由用人单位承担举证责任，同时你也可以通过多种途径收集和补充证据。具体分析如下：
一、法律规定的举证责任分配
在劳动纠纷中，对于由用人单位掌握管理的证据，如考勤记录、工资发放记录、规章制度等，根据《中华人民共和国劳动争议调解仲裁法》第六条：“发生劳动争议，当事人对自己提出的主张，有责任提供证据。与争议事项有关的证据属于用人单位掌握管理的，用人单位应当提供；用人单位不提供的，应当承担不利后果”。这意味着，如果这些证据应当由用人单位掌握而你无法提供，举证责任将转移至用人单位。例如，在加班费争议中，若用人单位无法提供完整的考勤记录，则可能被推定为你存在加班事实。
二、你可以采取的证据收集途径
申请仲裁机构或法院调取：
- 在劳动仲裁或诉讼过程中，你可以向仲裁机构或法院提出申请，要求调取用人单位掌握的相关证据。这是法律赋予你的权利，也是解决证据缺失问题的有效途径。
自行收集辅助证据：
- 尽管部分核心证据由用人单位掌握，但你仍可以尝试收集其他辅助证据来支持你的主张。例如，你可以收集与同事的聊天记录、工作邮件、工作现场的照片或视频等，这些证据虽然可能无法直接证明你的主张，但可以与其他证据相互印证，增强你的说服力。
利用公开信息：
- 如果用人单位有官方网站、社交媒体账号等公开渠道，你可以从中获取与案件相关的信息。例如，用人单位可能在官网上发布了相关规章制度或通知，这些信息可以作为你主张的依据。
三、不同场景下的应对策略
加班费争议：
- 如果你主张加班费但无法提供考勤记录等证据，你可以要求用人单位提供。若用人单位拒绝提供或无法提供完整记录，仲裁机构或法院可能会根据你提供的辅助证据（如工作邮件发送时间、同事证言等）来推定你的加班事实。
工资争议：
- 在工资争议中，如果你无法提供工资条等证据，你可以要求用人单位提供工资发放记录。若用人单位无法提供或提供的记录与你的主张不符，仲裁机构或法院可能会根据你的银行流水、同事证言等其他证据来认定你的工资水平。
规章制度争议：
- 如果你主张用人单位的规章制度违法或未向你公示，你可以要求用人单位提供规章制度的制定程序、公示方式等证据。若用人单位无法提供或提供的证据存在瑕疵，仲裁机构或法院可能会认定规章制度对你无效。
四、注意事项
- 及时申请调取证据：在劳动仲裁或诉讼过程中，一旦发现需要用人单位提供的证据，应及时向仲裁机构或法院提出申请，避免因证据缺失而影响你的权益。
- 保留好辅助证据：尽管部分核心证据由用人单位掌握，但你仍应尽可能保留好其他辅助证据，以备不时之需。
- 咨询专业律师：虽然我作为专业律师已经为你提供了详细的解答，但每个案件的具体情况都有所不同。如果你在处理劳动纠纷过程中遇到复杂问题或需要进一步的法律帮助，可以直接向我咨询。
希望以上解答能够对你有所帮助。如果你还有其他问题或需要进一步的法律建议，请随时向我提问。