结论：起诉费减半后，一半由被告负责的情况下，另一半是否退还取决于具体的诉讼进程、相关法律规定以及法院的实际操作，并非直接去法院退还。以下是对此问题的详细分析：

一、诉讼费减半收取的情形

根据《诉讼费用交纳办法》的相关规定，诉讼费在以下情况下可以减半收取：

1. 调解或撤诉：若案件以调解方式结案或当事人申请撤诉，案件受理费将减半交纳。
2. 简易程序：适用简易程序审理的案件，案件受理费同样减半交纳。若案件由简易程序转为普通程序后又转回简易程序，之前因转为普通程序多交的诉讼费将予以退还。
3. 破产案件：破产案件依据破产财产总额计算，按照财产案件受理费标准减半交纳。
4. 合并审理：被告提起反诉、有独立请求权的第三人提出与本案有关的诉讼请求，且人民法院决定合并审理的，案件受理费分别减半交纳。

二、诉讼费退还的具体情形

1. 调解成功且履行完毕后撤诉：若案件经过调解达成协议，并且全部履行完毕，原告申请撤诉的，在减半收取诉讼费之后，法院可能会将一半的费用退还给原告（具体退还情况需根据法院实际操作）。但需注意，此处的退还并非直接针对被告负责的部分，而是原告已缴纳的诉讼费中可能存在的多余部分。
2. 简易程序审理且撤诉：若是适用简易程序审理的案件，在宣判之前原告申请撤诉，那么已减半收取的那部分诉讼费（即原告实际缴纳的部分）是可以退还的（同样需根据法院实际操作）。

三、关于被告负责部分的处理

在诉讼费减半且由被告负责一半的情况下，被告负责的部分通常不会直接退还给原告，而是作为诉讼费用的一部分，由法院根据案件判决结果进行分配或处理。如果被告被判决承担诉讼费用，那么这部分费用将由被告直接支付给法院，而不是退还给原告。

四、不退还诉讼费的情形

1. 案件正常审理并判决：如果案件经过正常的审理程序并作出判决，已减半收取的诉讼费通常不会退还。
2. 中止诉讼或执行：对于中止诉讼或者中止执行的案件，已经交纳的案件受理费和申请费不予退还。但当中止诉讼、中止执行的原因消除，恢复诉讼或执行时，不再需要交纳案件受理费和申请费。

五、注意事项与建议

1. 缴纳金额与退还：如果当事人只缴纳了减半的诉讼费，则不存在退还问题（针对原告而言）。但若当事人（如原告）已经缴纳了完整的诉讼费，在减半后，多余的部分应退还给当事人。对于被告负责的部分，则通常不会退还。
2. 地区差异与咨询：由于各地法院在具体操作上可能存在差别，建议当事人向审理案件的法院咨询其关于诉讼费退还的具体规定和操作流程。

总结与建议：起诉费减半后，一半由被告负责的情况下，另一半是否退还并非直接去法院退还，而是取决于具体的诉讼进程、相关法律规定以及法院的实际操作。如果您对此有进一步的疑问或需要具体的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。