关于办理工作过程中中间人拿好处费又退回去是否违法的问题，这需要分情况讨论：
如果中间人收取好处费的行为本身就构成违法或犯罪：
- 在这种情况下，即使中间人后来将好处费退回，其收取好处费的行为本身已经触犯了法律。例如，如果中间人通过不正当手段（如行贿、受贿、诈骗等）获取了好处费，那么这种行为就可能构成行贿罪、受贿罪或诈骗罪等。退回好处费并不能完全消除其行为的违法性，只是可能作为量刑时的一个考虑因素。
- 法律依据：根据《中华人民共和国刑法》的相关规定，行贿罪、受贿罪等都有明确的刑罚规定。即使行为人后来有退赃等表现，也只能作为量刑时的从轻或减轻情节，而不能改变其行为的犯罪性质。
如果中间人收取好处费的行为并不构成违法或犯罪，但违反了职业道德或行业规范：
- 在这种情况下，中间人收取好处费可能只是违反了其所在行业的职业道德或规范，而并未触犯法律。例如，某些行业可能禁止从业人员收取客户或第三方的任何形式的回扣或好处费，即使这种行为并未造成实际的法律后果。如果中间人后来将好处费退回，可能只是表明其认识到了自己的错误并试图纠正。
- 法律后果：虽然这种行为可能不会受到法律的直接制裁，但中间人可能会因此受到行业内的纪律处分或声誉损失。
如果中间人收取好处费的行为完全合法，但出于某种原因（如良心发现、担心被发现等）而退回：
- 在这种情况下，中间人收取好处费的行为本身并不违法，其退回行为也只是出于个人选择。例如，在某些合法的商业交易中，双方可能约定了一定的佣金或好处费，这是完全合法的。如果中间人后来因为某种原因决定退回这部分费用，那么这并不会对其产生任何法律后果。
- 法律分析：合法行为不受法律制裁，退回行为也只是个人意愿的体现，不会改变其行为的合法性。
针对您的情况，我给出以下建议：
- 如果您或您身边的人涉及类似情况，首先需要明确中间人收取好处费的行为是否构成违法或犯罪。如果构成，那么退回行为并不能完全消除其违法性，建议及时向相关部门报告并寻求法律帮助。
- 如果中间人收取好处费的行为并不构成违法或犯罪，但违反了职业道德或行业规范，那么您可以考虑向相关行业组织或监管机构投诉，以维护行业秩序和公平竞争。
- 在任何情况下，都建议您保持谨慎和警惕，避免涉及任何不正当的利益输送或违法行为。
最后，如果您有任何具体的法律问题或需要进一步的法律帮助，请直接向我咨询。我会根据您的具体情况，为您提供专业、全面的法律建议。