结论：单位离开相关材料，并不意味着可以直接起诉主管单位，是否可以起诉取决于具体的法律关系和事实情况。以下从不同角度进行分析：
一、法律关系角度
劳动合同关系：
- 如果您与单位之间存在劳动合同关系，且因单位未提供相关材料（如工资单、考勤记录等）导致您无法维护自身权益（如申请工伤认定、追讨工资等），您通常应首先通过劳动仲裁等途径解决与单位的争议。
- 在这种情况下，直接起诉主管单位可能缺乏法律依据，因为主管单位并非劳动合同的直接当事人。
侵权责任关系：
- 如果单位的行为（如故意隐匿、销毁相关材料）构成对您合法权益的侵害，且该行为与主管单位存在直接关联（如主管单位指使或默许单位这样做），您可能可以考虑以侵权为由起诉主管单位。
- 但这种情况下，需要充分的证据证明主管单位的过错和侵权行为与您损害结果之间的因果关系。
二、事实情况角度
材料缺失的性质：
- 如果材料缺失是由于单位的管理疏忽或意外事件导致的，且主管单位并未参与或知情，那么起诉主管单位可能缺乏事实依据。
- 如果材料缺失是单位故意为之，且主管单位存在过错（如监管不力、指使等），则可能构成起诉主管单位的理由。
您的具体诉求：
- 您的诉求是追讨工资、申请工伤认定还是其他？不同的诉求可能涉及不同的法律关系和救济途径。
- 例如，如果您想追讨工资，通常应先通过劳动仲裁解决与单位的争议；如果您想申请工伤认定，但单位不提供相关材料，您可以向劳动保障行政部门投诉或申请劳动仲裁要求单位提供材料。
三、建议与行动
收集证据：
- 无论您打算采取何种行动，收集证据都是至关重要的。这包括与单位的沟通记录、相关材料的缺失情况、主管单位的过错证据等。
咨询专业律师（此处虽为常规建议，但针对您的情况，我会以更具体的方式表述）：
- 在采取任何法律行动之前，我建议您先与我详细沟通您的情况，包括具体的法律关系、事实情况、您的诉求等。我可以根据您的具体情况，为您提供更具体的法律建议和行动方案。
考虑非诉讼途径：
- 在某些情况下，通过协商、调解等非诉讼途径解决争议可能更为高效和经济。您可以考虑与单位或主管单位进行沟通，寻求和解或调解的可能性。
总结：单位离开相关材料并不直接构成起诉主管单位的理由。是否可以起诉取决于具体的法律关系和事实情况。我建议您先收集证据，并与我详细沟通您的情况，以便我能为您提供更具体的法律建议和行动方案。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。