在回答您的问题之前，我想先明确一点：纪委（或更准确地说，是监察机关）在留置期间通知被留置人家属去退赃，这一行为是基于法律规定的，旨在保障家属的知情权，并确保案件处理的顺利进行。
关于是否可以不去退赃的问题：
从法律角度来说，家属并没有绝对的“可以不去”的权利。退赃是案件处理中的一个重要环节，它关系到被调查人（即被留置人）的违法犯罪行为的认定、量刑以及后续的法律程序。监察机关通知家属去退赃，是希望家属能够配合案件的处理，促进案件的公正、高效解决。
如果家属选择不去退赃，可能会产生以下后果：
影响案件处理：退赃情况是案件处理中的重要考量因素之一。如果家属不配合退赃，可能会影响对被调查人的量刑和案件的整体处理进度。
法律责任：虽然家属本身不是被调查人，但如果他们明知被调查人有违法犯罪所得而拒不退赃，或者协助被调查人转移、隐匿财产，那么他们可能会面临相应的法律责任。
社会影响：退赃不仅是对法律尊严的维护，也是对社会公平正义的体现。如果家属选择不去退赃，可能会在社会上产生不良影响，损害被调查人及其家庭的声誉。
建议：
积极配合：作为家属，应该积极配合监察机关的工作，按照通知要求去退赃。这既是对被调查人的负责，也是对法律的尊重。
了解法律程序：在退赃过程中，家属可以了解相关的法律程序和规定，确保自己的权益得到保障。
寻求法律帮助：如果家属对退赃事宜有疑问或担忧，可以寻求专业的法律帮助，咨询律师或相关法律机构，以获取更详细、准确的法律建议。
综上所述，纪委（监察机关）通知被留置人家属去退赃是合法的、必要的程序。家属应该积极配合，按照通知要求去退赃，以确保案件的公正、高效处理。同时，家属也有权了解相关的法律程序和规定，并在必要时寻求法律帮助。