不可以不交退赃，但在特定情况下可能有合法理由暂缓或免除。以下是对这一问题的详细分析：
一、退赃的法律义务
在刑事案件中，退赃是犯罪嫌疑人或被告人的一项重要法律义务。根据《中华人民共和国刑法》的相关规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。这意味着，一旦公安机关或检察机关认定某财物为违法所得，犯罪嫌疑人或被告人就有义务将其退还或赔偿给受害者。
二、不交退赃的法律后果
影响量刑：在刑事诉讼中，退赃情况通常会被作为量刑的一个重要考虑因素。如果犯罪嫌疑人或被告人能够积极退赃，表现出悔罪态度，法院在量刑时可能会给予一定的从轻或减轻处罚。相反，如果拒不退赃，则可能被视为没有悔罪表现，从而影响量刑结果。
强制执行：如果犯罪嫌疑人或被告人拒不退赃，公安机关或检察机关有权采取强制措施，如查封、扣押、冻结等，以追缴违法所得。在极端情况下，如果犯罪嫌疑人或被告人有能力退赃而拒不退赃，还可能构成拒不执行判决、裁定罪，面临更严重的法律后果。
三、特定情况下的暂缓或免除
虽然退赃是犯罪嫌疑人或被告人的一项法律义务，但在特定情况下，他们可能有合法理由暂缓或免除退赃义务。例如：
经济困难：如果犯罪嫌疑人或被告人因经济困难无法立即退赃，他们可以向公安机关或检察机关说明情况，并提出分期退赃或延期退赃的申请。在得到批准后，他们可以在一定期限内暂缓退赃。
争议存在：如果犯罪嫌疑人或被告人对违法所得的认定存在争议，他们可以向公安机关或检察机关提出异议，并要求进行进一步的调查和核实。在争议得到解决之前，他们可能不需要立即退赃。但需要注意的是，这并不意味着他们可以无限期地拖延退赃义务。
其他合法理由：除了上述两种情况外，如果犯罪嫌疑人或被告人有其他合法理由需要暂缓或免除退赃义务，他们也可以向公安机关或检察机关提出申请，并说明具体情况。在得到批准后，他们可以在一定期限内暂缓或免除退赃义务。
四、建议与提醒
积极配合：在刑事案件中，犯罪嫌疑人或被告人应该积极配合公安机关或检察机关的工作，如实说明情况，并主动退赃。这有助于体现他们的悔罪态度，并可能获得从轻或减轻处罚的机会。
咨询专业律师：如果犯罪嫌疑人或被告人对退赃义务存在疑问或困惑，他们应该及时咨询专业律师，以了解自己的权利和义务，并寻求合法的解决方案。
遵守法律程序：在退赃过程中，犯罪嫌疑人或被告人应该遵守法律程序，按照公安机关或检察机关的要求进行操作。不要试图逃避或抗拒退赃义务，否则可能会面临更严重的法律后果。
总之，退赃是犯罪嫌疑人或被告人的一项重要法律义务，他们应该积极履行。如果有任何疑问或困惑，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议。