针对您提出的“行政处罚退还违法所得只退还一部分还需要没收吗”这一问题，以下是我的详细解答：

1. 退还违法所得与没收违法所得的性质及适用情形：

   • 退还违法所得：这通常是一种处理措施，适用于有权利请求人的情况。例如，在乱收费、乱加价行为中取得的利益，应当退还消费者。如果不易退还，需要在一定范围、一定期限内实行公告，公告期满后仍不能退还的，才予以没收。
   • 没收违法所得：这是一种处罚措施，适用于没有权利请求人或权利请求人丧失请求权利的情况。例如，在行贿受贿案件中，由于行贿人的违法行为导致其对行贿款物不再享有请求权，而受贿人收取贿赂同样是违法行为，对此不享有所有权，因此应依法予以没收。

2. 关于只退还一部分违法所得的情况：

   • 如果在行政处罚过程中，已经退还了一部分违法所得给权利请求人，但仍有部分违法所得无法退还（例如，无法找到权利请求人或权利请求人明确放弃请求权），那么根据法律规定和行政处罚的原则，这部分无法退还的违法所得应当予以没收。
   • 需要注意的是，退还和没收是两种不同的处理措施，它们并不相互排斥。在符合法律规定的情况下，可以同时采取退还和没收两种措施。

3. 法律建议：

   • 在进行行政处罚时，行政机关应当严格按照法律规定和程序进行，确保退还和没收违法所得的措施合法、合理、公正。
   • 如果您作为权利请求人或相关当事人对行政处罚决定有异议，可以依法申请行政复议或提起行政诉讼，以维护自己的合法权益。

综上所述，行政处罚中退还违法所得只退还一部分时，剩余的无法退还的违法所得应当予以没收。如果您对此有进一步的疑问或需要具体的法律帮助，请随时向我咨询。