不可以不回答到期直接走，合同到期后是否续签建议明确回复单位。以下从不同角度为你详细分析：
从合同法律关系角度 劳动合同到期意味着你与单位原有的基于劳动合同的权利义务关系即将终止。但根据《劳动合同法》规定，除用人单位维持或者提高劳动合同约定条件续订劳动合同，劳动者不同意续订的情形外，劳动合同期满终止固定期限劳动合同的，用人单位应当向劳动者支付经济补偿。如果你不回复单位是否续签，单位可能无法准确判断你的意愿。若单位原本打算与你续签且维持或提高条件，而你未回复直接离职，可能会使自己错失可能的续签机会，同时也可能影响后续经济补偿的获取（如果符合应得补偿情形的话）。例如，单位在你不知情的情况下，按照正常流程准备与你续签，而你直接走人，之后若再主张经济补偿，可能会因没有正确表达意愿而面临举证困难等问题。
从职业信誉和后续就业角度 在职场中，良好的职业信誉很重要。不回复单位直接离职，这种行为可能会给单位留下不负责任的印象。而且现在很多行业圈子相对较小，这种不良印象可能会通过口碑传播，对你后续在其他单位的就业产生一定的负面影响。比如，在同行业的其他单位进行背景调查时，原单位可能会提及你这种不恰当的离职方式，从而影响新单位对你的录用决定。
从工作交接和责任承担角度 即使合同到期不续签，你也有义务做好工作交接。如果不回复单位直接走，可能导致工作交接无法顺利进行，给单位的工作造成损失。根据法律规定，劳动者违法解除劳动合同，给用人单位造成损失的，应当承担赔偿责任。所以，不回复直接离职可能会使自己陷入不必要的法律纠纷中，承担不必要的赔偿责任。
建议你及时与单位沟通，明确表达自己是否续签的意愿。如果有其他疑问，欢迎继续向我咨询。