结论：在行政复议过程中，若涉事单位主管部门要求你撤回申请，是否撤回取决于你自身的意愿和具体情况，但必须确保撤回行为合法、自愿且不损害公共利益和他人合法权益。以下是对此问题的详细分析：
一、撤回行政复议申请的法律依据
根据《中华人民共和国行政复议法》第二十五条及《中华人民共和国行政复议法实施条例》第三十八条的规定，行政复议决定作出前，申请人有权要求撤回行政复议申请，但需经说明理由并经行政复议机构同意后，可以撤回，行政复议随即终止。这一规定明确了申请人撤回申请的权利及其程序要求。
二、撤回的条件与限制
自愿性：撤回必须基于你的真实意愿，任何外部压力或不当影响下的撤回均被视为不合理。若涉事单位主管部门通过不正当手段迫使你撤回申请，此行为不仅不合理，还可能损害你的合法权益。
时间限制：撤回申请必须在行政复议决定作出之前进行。若复议程序已经结束或尚未开始，则不存在撤回的问题。
理由充分性：虽然法律未明确规定撤回必须提供具体理由，但为了确保你的权益得到保护，并促进行政机关的依法行政，建议你说明撤回的理由。
不损害公共利益和他人合法权益：若你的撤回行为可能损害社会公共利益或他人合法权益，则此行为同样被视为不合理，行政复议机构可能不会准许撤回。
三、可能的情况与建议
和解后撤回：若你与涉事单位在行政复议过程中达成和解，且和解内容不损害社会公共利益和他人合法权益，你可以依法撤回申请。在此情况下，建议你与涉事单位签订书面和解协议，并提交给行政复议机构备案。
认识变化后撤回：若你因对法律法规的深入了解或对具体行政行为有更全面的认识，认为申请缺乏法律依据或事实基础，你可以依法撤回申请。在此情况下，建议你仔细评估自己的申请是否确实存在不足，并谨慎考虑撤回的后果。
不正当压力下撤回：若你因涉事单位或其他外部因素的不正当压力而被迫撤回申请，此行为视为不合理。在此情况下，你可以坚决拒绝撤回，并向行政复议机构说明情况，寻求法律保护。
四、撤回后的法律效果
一旦你撤回行政复议申请，行政复议程序将终止，且你不得再以同一事实和理由提出行政复议申请。但是，若你能证明撤回申请违背你的真实意思表示（如受到不正当压力或欺诈等），你可以再次向行政机关申请复议。
建议：在决定是否撤回行政复议申请时，请务必谨慎考虑自己的权益和可能面临的法律后果。若你对撤回的合法性、合理性或后果存在疑问，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见。