关于上诉人所交上诉费判给被上诉人的部分应该由谁去追还的问题，这主要取决于法院的判决内容以及上诉费的具体处理情况，以下分情况讨论：

1. 若法院判决明确由上诉人承担上诉费，且该费用已实际判给被上诉人：

   • 在这种情况下，由于法院已经明确判决上诉人承担上诉费，并且该费用已经作为被上诉人应得的一部分被判决确认，那么理论上，如果上诉人认为该费用的判给存在不当或错误，应当通过法律程序（如申请再审或提出异议等）来寻求救济，而不是直接向被上诉人追还。但实际上，若上诉人已经支付了上诉费，且法院判决该费用由上诉人承担并判给被上诉人，这通常意味着上诉人需要接受这一判决结果，除非存在法定事由可以推翻或改变该判决。不过，从实际操作的角度看，若上诉人确实多支付了费用或存在其他合理理由，可以与被上诉人协商退还，协商不成则可能需要通过法律途径解决，但这不是“追还”的常规法律程序。
   • 特殊情况：如果上诉费的判给是基于某种错误（如计算错误、法律适用错误等），且该错误在判决生效后被发现，上诉人可以通过申请再审或向法院提出书面异议等方式，请求法院纠正错误，并可能因此获得费用的退还或调整。但这一过程并非直接“追还”给上诉人，而是由法院根据审查结果作出相应处理。

2. 若法院判决未明确上诉费的承担方，或判决上诉费由双方分担，但实际执行中出现了偏差：

   • 在这种情况下，如果上诉费被错误地全部或部分判给了被上诉人，而根据判决或法律规定，上诉人本不应承担全部或部分费用，那么上诉人有权向法院提出异议，要求法院纠正执行中的错误。这通常涉及执行异议或执行复议等法律程序。
   • 具体操作：上诉人应首先收集相关证据（如判决文书、上诉费缴纳凭证等），然后向执行法院提交书面异议申请，说明异议的理由和依据。法院将依法审查异议申请，并作出相应处理。如果异议成立，法院可能会裁定中止执行、撤销或变更原执行裁定，从而恢复上诉人的合法权益。

3. 关于上诉费追还的常规法律途径与注意事项：

   • 常规途径：在大多数情况下，如果上诉人认为上诉费的判给存在不当或错误，应当通过法律程序（如申请再审、提出异议等）来寻求救济。这些程序都有明确的法律规定和操作流程，上诉人应严格按照法律规定行事。
   • 注意事项：在处理上诉费追还问题时，上诉人应注意保留好相关证据（如判决文书、上诉费缴纳凭证、与被上诉人的沟通记录等），以便在需要时提供证明。同时，上诉人也应了解并遵守法律程序的规定和要求，避免因程序不当而影响自己的权益。

总结来说，上诉人所交上诉费判给被上诉人的部分应该由谁去追还，这主要取决于法院的判决内容以及上诉费的具体处理情况。在大多数情况下，上诉人应通过法律程序来寻求救济，而不是直接向被上诉人追还。如果确实存在错误或不当判给的情况，上诉人有权向法院提出异议并要求纠正。如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。