结论：能否要求中介退回服务费以及是否需要赔偿，需分情况讨论，主要取决于中介是否履行了合同义务、是否存在违约或违法行为等，以下为你详细分析：

中介完全未履行合同义务

如果中介在收取服务费后，完全没有按照合同约定为你提供任何服务，比如没有帮你寻找合适的房源（租房或买房场景）、没有为你推荐符合要求的求职岗位（求职中介场景）等。

• 退回服务费：你有权要求中介全额退回所收取的服务费。因为中介没有履行其主要的合同义务，构成根本违约，根据《中华人民共和国民法典》第五百六十三条、第五百六十六条规定，你可以解除合同，并要求中介返还已收取的费用。
• 赔偿问题：一般情况下，若中介不存在故意欺诈等恶意行为，你可能无需对其进行赔偿。但如果因为你的某些行为给中介造成了实际损失，比如你恶意与中介签订合同后又无故反悔，且中介为履行合同已经产生了一些合理费用（如差旅费、资料费等），那么你可能需要按照过错程度对中介的这部分实际损失进行适当赔偿。

中介部分履行合同义务

若中介已经为你提供了一部分服务，但未完全达到合同约定的标准，例如在房产中介中，为你找到了房源，但房源存在一些与介绍不符的情况（如面积有误差、房屋有质量问题等）；在求职中介中，为你推荐了岗位，但岗位的薪资待遇、工作环境等与之前承诺的有较大差距。

• 退回服务费：你可以要求中介退回部分服务费。具体退回的比例需要根据中介实际履行义务的情况、未履行部分对合同目的实现的影响程度等因素来确定。你可以先与中介协商确定一个合理的退款金额，如果协商不成，可以通过向消费者协会投诉或者向法院起诉的方式，由相关部门或法院根据具体情况来判定退款金额。
• 赔偿问题：如果因为中介部分履行义务的行为给你造成了损失，比如因为房源问题导致你额外产生了租房费用、因为求职岗位问题导致你错过了其他更好的工作机会等，你可以要求中介赔偿你的实际损失。但你需要提供充分的证据来证明损失的存在以及损失与中介行为之间的因果关系。

中介存在违约或违法行为

如果中介在服务过程中存在违约行为，如擅自提高服务费用、泄露你的个人信息等；或者存在违法行为，如欺诈、强迫交易等。

• 退回服务费：你不仅可以要求中介全额退回服务费，还可以根据具体情况要求中介承担相应的法律责任。例如，如果中介存在欺诈行为，根据《中华人民共和国消费者权益保护法》第五十五条规定，你可以要求中介增加赔偿你受到的损失，增加赔偿的金额为你接受服务的费用的三倍；增加赔偿的金额不足五百元的，为五百元。
• 赔偿问题：对于因中介违约或违法行为给你造成的其他损失，如精神损害、名誉损害等，你也可以要求中介进行赔偿。但同样需要提供相应的证据来支持你的赔偿请求。

建议：在与中介沟通退款和赔偿问题时，要注意保留好相关的证据，如合同、收费凭证、沟通记录、损失证明等。如果与中介无法协商解决，你可以向当地的消费者协会、行业主管部门投诉，也可以直接向法院提起诉讼，以维护自己的合法权益。如果你还有其他疑问或需要进一步的帮助，欢迎随时向我咨询。