结论：能否要回押金，关键在于口头约定的效力以及合同中关于押金退还的具体条款。若口头约定有效且合同无相反规定，你有权要求退还押金；若合同有明确规定且与口头约定冲突，则可能难以直接要回，但可通过协商或法律途径解决。以下为详细分析：
一、口头约定的效力
口头约定原则有效：在法律上，口头约定也是合同的一种形式，只要双方意思表示真实，且不违反法律、行政法规的强制性规定，口头约定是有效的。因此，如果你们在租房时口头约定了“随时退押金”的条款，这一条款在法律上是具有约束力的。
举证难度：然而，口头约定的举证难度较大。如果房东否认存在这样的口头约定，你可能需要提供其他证据来证明，如聊天记录、录音、证人证言等。
二、合同条款的审查
合同优先原则：在租房合同中，如果明确规定了押金的退还条件和方式，且这一规定与口头约定相冲突，那么根据合同优先的原则，合同中的规定将具有更高的法律效力。
合同内容分析：你需要仔细审查租房合同中关于押金退还的条款。如果合同中明确规定了“合同期满或提前解除合同时，押金不予退还”等类似条款，且这一条款并未被认定为无效或可撤销，那么你可能难以直接依据口头约定要求房东退还押金。
三、可能的解决途径
协商解决：首先，你可以尝试与房东进行协商，说明口头约定的存在，并请求房东按照口头约定退还押金。在协商过程中，你可以提供相关证据来支持你的主张。
法律途径：如果协商无果，你可以考虑通过法律途径解决纠纷。你可以向当地的人民调解委员会申请调解，或者向人民法院提起诉讼。在诉讼过程中，你需要提供充分的证据来证明口头约定的存在以及房东的违约行为。
四、法律建议
收集证据：无论选择哪种解决途径，收集证据都是至关重要的。你应该尽可能收集与口头约定相关的证据，如聊天记录、录音、证人证言等。
咨询专业律师：在处理此类纠纷时，咨询专业律师的意见是非常有帮助的。律师可以根据你的具体情况提供针对性的法律建议，并帮助你制定合适的解决策略。不过，既然你已经在向我咨询，我会尽我所能为你提供专业的法律帮助。
注意诉讼时效：如果你决定通过法律途径解决纠纷，还需要注意诉讼时效的问题。根据《中华人民共和国民法典》的规定，向人民法院请求保护民事权利的诉讼时效期间为三年。因此，你需要在知道或应当知道自己的权利受到侵害之日起三年内提起诉讼。
最后，我建议你先尝试与房东进行协商，看是否能够达成和解。如果协商无果，再考虑通过法律途径解决纠纷。如果你需要进一步的法律帮助或咨询，请随时向我提问。