结论：答应中介上户但没签合同，是否可以退单需分情况讨论，主要取决于双方是否已形成事实合同关系以及是否存在违约行为。
一、未形成事实合同关系的情况
如果双方仅仅停留在口头答应的阶段，尚未有任何实质性的行动（如支付定金、中介开始提供服务等），且没有其他证据表明双方已经就上户事宜达成了明确的合意，那么在这种情况下，通常可以认为双方尚未形成事实上的合同关系。此时，如果一方（如您）决定退单，一般不构成违约，因为合同尚未成立，也就不存在违约的问题。
二、已形成事实合同关系的情况
存在口头约定且已部分履行：
- 如果双方虽然未签订书面合同，但已经通过口头约定明确了上户的具体内容、时间、费用等关键条款，并且中介已经开始提供服务（如安排面试、准备相关材料等），或者您已经支付了部分费用，那么在这种情况下，可以认为双方已经形成了事实上的合同关系。
- 此时，如果您单方面决定退单，可能构成违约，需要承担相应的违约责任。违约责任的具体形式可能包括赔偿中介因此遭受的损失、支付违约金（如果双方有约定）等。
中介存在过错：
- 如果在双方形成事实合同关系后，中介存在过错（如提供虚假信息、未按照约定提供服务、服务存在严重瑕疵等），导致您无法继续履行合同或者履行合同将给您带来重大损失，那么您有权要求解除合同并退单。
- 在这种情况下，您不仅不需要承担违约责任，还可以要求中介赔偿您因此遭受的损失。
三、法律建议
收集证据：
- 无论您是否决定退单，都建议您先收集与上户事宜相关的所有证据，包括口头约定的记录（如聊天记录、录音等）、中介提供的服务内容、您支付的费用凭证等。
- 这些证据将有助于您在后续可能出现的纠纷中维护自己的权益。
与中介协商：
- 在决定退单前，建议您先与中介进行协商，说明您的理由和诉求。
- 通过协商，双方可能能够达成一致意见，避免不必要的法律纠纷。
寻求法律帮助：
- 如果协商无果，或者您认为中介存在过错且无法协商解决，那么您可以考虑寻求法律帮助。
- 作为专业律师，我可以根据您的具体情况提供法律咨询和代理服务，帮助您维护自己的合法权益。
最后，合同纠纷的处理往往比较复杂，需要综合考虑多种因素。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。