结论：关于去港澳工作通过劳务派遣公司支付的中介费，在雇主单位上班后是否可以退回，这主要取决于劳务派遣公司与您之间的合同约定以及实际情况，无法一概而论。以下是从不同角度进行的分析：

从劳务派遣公司角度分析

1. 合同中有明确约定：

   • 如果劳务派遣公司与您签订的合同中明确规定了，在特定情况下（如工作未满一定期限被解雇）可以退还部分或全部中介费，那么您有权要求按照合同约定进行退还。

2. 合同中无明确约定或约定不明：

   • 如果合同中没有明确规定中介费的退还情况，或者约定不明确，那么您需要与劳务派遣公司进行协商，看是否能够达成退还中介费的协议。
   • 在此情况下，如果劳务派遣公司存在过错（如未如实告知工作相关情况、未提供承诺的工作条件等），导致您被解雇，您有权要求劳务派遣公司承担相应的责任，包括退还部分或全部中介费。

从雇主单位角度分析

1. 雇主单位存在违约行为：

   • 如果雇主单位违反了与劳务派遣公司或您之间的合同约定，导致您被解雇，且这种违约行为与中介费的支付有直接关系（如雇主单位未按照约定支付费用给劳务派遣公司，导致劳务派遣公司无法履行与您的合同），那么您有权要求雇主单位或劳务派遣公司承担相应的责任，包括退还中介费。

2. 雇主单位无违约行为：

   • 如果雇主单位是按照合同约定和法律规定解雇您，且这种解雇行为与中介费的支付无直接关系，那么您可能难以直接要求雇主单位退还中介费。但您仍然可以与劳务派遣公司协商，看是否能够达成退还中介费的协议。

实际操作建议

1. 查看合同条款：

   • 首先，您需要仔细查看与劳务派遣公司签订的合同，了解其中关于中介费退还的条款和约定。

2. 与劳务派遣公司协商：

   • 如果合同中有明确约定或您认为劳务派遣公司存在过错，您可以与劳务派遣公司进行协商，要求退还部分或全部中介费。

3. 寻求法律援助：

   • 如果协商无果，您可以考虑寻求法律援助或咨询专业律师（即向我咨询），了解您的法律权益和可能的维权途径。

4. 保留相关证据：

   • 在整个过程中，您需要保留好与劳务派遣公司和雇主单位之间的所有沟通记录和合同文件等证据，以备不时之需。

总结：去港澳工作通过劳务派遣公司支付的中介费在雇主单位上班后是否可以退回，取决于合同约定和实际情况。建议您先查看合同条款，与劳务派遣公司协商，并保留好相关证据。如有需要，可以随时向我咨询以获取更具体的法律建议。