公务员拿居间费后退还，如果原本就不应当收取，那么即使退还也可能构成违法；如果原本可以收取，只是因为某些原因（如内部规定）不能收取而退还，则不构成违法。针对这一问题，我们可以从以下几个方面进行分析：

一. 公务员的廉洁义务

1. 法律规定：根据《中华人民共和国公务员法》等相关法律法规，公务员有廉洁奉公的义务，不得利用职权谋取私利。
2. 居间费性质：居间费通常指中介人因介绍、促成交易而收取的报酬。如果公务员在执行公务过程中，利用职务之便收取居间费，即使后续退还，也可能被视为违反了廉洁义务。

二. 违法性的判断

1. 原本不应收取：如果公务员原本就不应当收取居间费（如利用职权进行介绍、促成交易），那么无论是否退还，都可能构成违法。因为这种行为已经违反了公务员的廉洁义务和职业操守。
2. 原本可以收取但违反规定：如果公务员原本可以收取居间费（如作为私人身份进行中介活动），但由于某些原因（如单位内部规定）不能收取而退还，那么这种行为通常不构成违法。因为公务员在退还居间费后，并没有实际获得利益，也没有损害公共利益或他人合法权益。

三. 实际案例与影响

• 实际案例：在实践中，公务员因收取居间费而被查处的案例并不少见。这些案例通常涉及公务员利用职务之便进行中介活动，并从中谋取私利。即使后续退还居间费，也可能被视为违反了廉洁义务和职业操守而受到处罚。
• 社会影响：公务员作为国家机关的工作人员，其行为举止直接关系到国家机关的形象和公信力。因此，公务员应当严格遵守法律法规和职业操守，不得利用职务之便谋取私利。

综上所述，公务员拿居间费后退还是否违法，取决于原本是否应当收取该费用。我建议公务员在执行公务过程中严格遵守法律法规和职业操守，不得利用职务之便谋取私利。如有进一步需要，您可以继续咨询我。