首先，需要明确的是，纪委留置办案是纪检监察机关在特定情况下，对涉嫌严重违纪或职务违法的公职人员采取的一种强制措施。这种措施具有一定的法律效力和强制性，因此，一般情况下，被抽调参与纪委留置办案的人员是需要按照要求前往并配合办案工作的。
然而，是否可以不去，并非一个绝对的答案，而是需要根据具体情况来判断：
法律义务与责任：作为公职人员，有义务配合纪检监察机关的工作，包括被抽调参与留置办案。这是公职人员身份所附带的法律责任。如果无故拒绝或逃避，可能会面临相应的法律后果或纪律处分。
特殊情况考虑：尽管有上述法律义务，但在某些特殊情况下，如个人健康原因、家庭紧急事务等，确实无法参与留置办案的，可以向相关部门提出合理申请，并说明具体情况。相关部门会根据实际情况进行考虑，并可能作出相应调整或安排。
程序与沟通：如果确实存在无法参与的情况，建议及时与抽调部门或纪检监察机关进行沟通，说明原因并寻求解决方案。通过正当程序提出申请，并尊重相关部门的决定，是处理此类问题的正确方式。
综上所述，被抽调参与纪委留置办案一般情况下是需要去的，但特殊情况下可以向相关部门提出申请并说明原因。无论何种情况，都应尊重法律义务和程序要求，确保问题的妥善处理。如果你有具体的法律疑问或需要进一步的帮助，请直接向我咨询。