行政决定书没有写退还赃物是不可以的。下面我详细为你解释一下：

首先，从法律程序的角度来看，行政决定书是行政机关对违法行为人作出行政处罚或行政处理决定的重要法律文书。它应当明确、具体地载明行政处罚或行政处理的内容，包括退还赃物这一重要事项。如果行政决定书中遗漏了退还赃物的相关内容，那么这份行政决定书在程序上就存在瑕疵，可能会影响其法律效力。

其次，从实体权利的角度来看，退还赃物是违法行为人应当履行的一项义务。如果行政决定书中没有写明退还赃物，那么违法行为人可能会以此为由拒绝履行退还义务，从而损害受害人的合法权益。同时，这也会给行政机关的执法工作带来不必要的麻烦和纠纷。

因此，行政决定书应当明确载明退还赃物的相关内容，以确保法律程序的严谨性和实体权利的保障。如果行政决定书中确实遗漏了退还赃物的内容，建议你可以及时向作出该行政决定书的行政机关提出异议，要求其进行补正或更正。

总之，行政决定书没有写退还赃物是不可以的，这既不符合法律程序的要求，也不利于实体权利的保障。如果你在这方面遇到了问题，可以直接向我咨询，我会为你提供专业的法律帮助。