结论：出租人家属一般无权直接口头让承租人退租，但具体是否有效需结合实际情况判断。以下从不同角度进行分析：
一、出租人家属是否有权要求承租人退租
合同相对性原则：
- 租赁合同是出租人与承租人之间签订的，根据合同的相对性原则，只有合同当事人（即出租人和承租人）才享有合同约定的权利和承担合同约定的义务。
- 出租人的家属并非租赁合同的当事人，因此，他们一般无权直接依据租赁合同要求承租人退租。
出租人的授权：
- 如果出租人事先授权其家属处理租赁合同相关事宜，包括要求承租人退租，那么家属在授权范围内有权要求承租人退租。
- 但这种授权应当是明确且具体的，最好以书面形式进行，以避免后续产生纠纷。
二、承租人深夜聚众扰民是否构成违约或违法
违约行为：
- 如果租赁合同中明确约定了承租人不得在租赁房屋内从事扰民活动，那么承租人深夜聚众扰民的行为就构成了违约。
- 出租人有权依据租赁合同的约定，要求承租人承担违约责任，包括但不限于要求承租人停止扰民行为、赔偿损失等。在严重情况下，出租人还有权解除租赁合同，要求承租人退租。
违法行为：
- 如果承租人的扰民行为严重到违反了《治安管理处罚法》等相关法律法规的规定，那么承租人还可能面临行政处罚，如罚款、拘留等。
- 在这种情况下，出租人可以向相关部门举报承租人的违法行为，并要求相关部门进行处理。同时，出租人也有权依据租赁合同的约定或法律规定，要求承租人退租。
三、出租人家属口头要求退租的法律效力
口头要求的效力：
- 口头要求退租在法律上并不具有直接的强制执行力。除非承租人自愿接受并履行口头要求，否则出租人家属无法仅凭口头要求就迫使承租人退租。
书面通知的必要性：
- 为了确保退租要求的合法性和有效性，出租人（或其授权家属）最好以书面形式向承租人发出退租通知。
- 书面通知应明确退租的原因、时间、方式等关键信息，并要求承租人在规定时间内办理退租手续。
四、建议与措施
与承租人协商：
- 出租人（或其家属）可以先尝试与承租人进行协商，说明承租人扰民行为的严重性以及对其生活造成的影响，要求承租人停止扰民行为并考虑退租。
依据合同或法律要求退租：
- 如果协商无果，出租人可以依据租赁合同的约定或相关法律法规的规定，向承租人发出书面退租通知，并要求承租人在规定时间内办理退租手续。
寻求法律帮助：
- 如果承租人拒绝退租或存在其他纠纷，出租人可以寻求法律帮助，通过法律途径解决纠纷。例如，向法院提起诉讼或申请仲裁等。
总结：出租人家属一般无权直接口头让承租人退租，但可以通过与承租人协商、依据合同或法律要求退租以及寻求法律帮助等方式来维护自己的合法权益。在处理此类纠纷时，建议出租人保持冷静、理性，并遵循法律程序进行操作。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。