这种情况下，你有权要求退还这三千元。下面我详细为你解释一下：
首先，从法律角度来看，虽然你们之间没有签订书面合同，但口头约定同样具有法律效力。然而，口头约定的证明难度相对较大，因此在处理此类纠纷时，需要综合考虑各种证据来还原事实真相。
你提到交了三千元但没有干活，这三千元很可能被视为预付款或者押金。如果双方没有实际履行约定的工作，且没有其他合法合理的扣除理由，那么你有权要求退还这笔钱。
接下来，我为你提供一些建议来维护你的权益：
收集证据：尽可能收集与这次交易相关的所有证据，比如聊天记录、转账记录、证人证言等。这些证据将有助于证明你的主张。
与对方协商：在采取法律手段之前，你可以尝试与对方进行协商，看是否能够和平解决纠纷。你可以明确提出你的要求，并说明你的法律依据和理由。
寻求法律援助：如果协商无果，你可以考虑向当地的法律援助机构或者律师事务所寻求帮助。他们可以提供专业的法律意见和指导，帮助你制定合适的维权策略。
提起诉讼：如果必要的话，你可以向人民法院提起诉讼，要求对方退还你的三千元。在诉讼过程中，你需要提供充分的证据来支持你的主张，并遵循法院的诉讼程序。
总之，虽然你们之间没有签订书面合同，但你仍然有权要求退还交了但没有干活的三千元。在处理此类纠纷时，建议你保持冷静和理性，积极收集证据并寻求法律援助。如有需要，我会随时为你提供专业的法律支持。