结论前置：单位在劳动合同到期前仅口头通知不续签劳务派遣合同的行为不符合法律规定，您有权要求单位依法办理相关手续并可能获得经济补偿。以下是具体分析：

1. 关于合同到期与续签的法律规定
   根据《劳动合同法》第44条，劳动合同期满即终止。但根据第46条，除用人单位维持或提高条件劳动者拒绝续签外，用人单位不续签的需支付经济补偿（按工作年限计算，每满1年支付1个月工资）。
   关键点：单位若想不续签，必须以书面形式明确告知劳动者，且需在合同到期前完成相关程序。口头通知不具备法律效力。

2. 单位仅口头通知不续签的问题

   • 程序违法性：根据《劳动合同法》第50条，用人单位应在终止劳动合同时出具书面证明。口头通知无法作为有效依据，您可要求单位补发书面通知。
     
   • 您的权利：若单位坚持不续签且未出具书面证明，您可继续工作至合同到期日（5月31日），并要求单位支付到期前工资。若单位提前终止劳动关系（如要求您21日后不再上班），则构成违法解除，需支付赔偿金（经济补偿的2倍）。

3. 应对建议

   • 第一步：书面要求单位确认
     向单位发送书面函（如邮件、短信），明确询问：“因合同将于5月31日到期，贵司是否续签？若不续签，请于X日前出具书面通知。”保留送达证据（如签收记录、聊天记录）。
     
   • 第二步：收集证据
     保存劳动合同、工资流水、工作证、考勤记录等，证明劳动关系存续及工作年限。若单位曾口头通知，可尝试录音或寻找证人。
     
   • 第三步：协商或投诉
     若单位仍拒绝书面通知或支付补偿，可向当地劳动监察大队投诉（电话12333），或申请劳动仲裁（需在离职后1年内提出）。
     
   • 第四步：主张权益
     仲裁时可要求：
     
     1. 确认单位违法终止劳动关系；
        
     2. 支付经济补偿（或赔偿金）；
        
     3. 出具书面终止证明。

4. 特殊情形提醒

   • 若您属于“应签订无固定期限劳动合同”的情形（如连续工作满10年、连续订立2次固定期限合同等），单位无权单方终止，否则需支付赔偿金。
     
   • 若单位未提前30日通知终止，您可额外主张1个月工资作为“代通知金”（仅适用于特定情形，需结合地方规定）。

总结：单位口头通知不续签的行为违法，您应主动要求书面确认，并依法维权。如有疑问或需进一步协助，可直接向我咨询具体操作步骤。