结论：持有特种设备安全管理员证在单位作为临时工，是否承担责任需根据具体情况判断，包括是否履行了安全管理职责、是否存在过错行为以及该过错与事故或损害结果之间的因果关系。
分析说明：
职责履行情况：
- 特种设备安全管理员的职责通常包括确保特种设备的安全运行、定期检查、维护保养、操作人员培训以及应急处理等。
- 如果作为临时工，你被单位指派担任特种设备安全管理员，并实际履行了相关职责，那么在职责范围内，你应当尽到合理的注意义务。
- 若未履行或未完全履行职责，如未进行定期检查、未及时发现并处理安全隐患等，则可能因失职而承担一定的责任。
过错行为：
- 过错行为是指违反法律规定、操作规程或单位规章制度的行为。
- 如果在特种设备安全管理过程中存在过错行为，如违规操作、疏忽大意等，且该过错行为导致了事故或损害结果的发生，那么你可能需要承担相应的法律责任。
因果关系：
- 责任承担还需考虑过错行为与事故或损害结果之间的因果关系。
- 如果能够证明你的过错行为是导致事故或损害结果发生的直接原因或重要原因，那么你可能需要承担相应的赔偿责任或行政责任。
特殊场景：
- 临时工身份不影响责任承担：临时工与正式工在法律上享有平等的权利和义务。因此，作为临时工，如果你在特种设备安全管理过程中存在过错行为，并导致了事故或损害结果的发生，你同样需要承担相应的法律责任。
- 单位责任：同时，单位作为特种设备的使用者和管理者，也应当承担相应的管理责任。如果单位未尽到安全管理职责，如未提供必要的安全培训、未配备合格的安全管理人员等，那么单位也可能需要承担相应的法律责任。
行动建议：
- 尽职尽责：作为特种设备安全管理员，无论你是临时工还是正式工，都应当尽职尽责地履行安全管理职责，确保特种设备的安全运行。
- 保留证据：在日常工作中，注意保留与特种设备安全管理相关的证据，如检查记录、维护保养记录、培训记录等，以便在需要时证明自己的履职情况。
- 及时报告：如果发现特种设备存在安全隐患或发生事故，应当及时向单位报告，并配合单位进行调查处理。
- 法律咨询：如果你对特种设备安全管理的法律责任存在疑问或担忧，建议直接向我咨询，以便获得更具体、更专业的法律建议。