违规发放津补贴在检查期间退还，仍然可能构成违法。具体分析如下：

首先，从法律的角度来看，违规发放津补贴本身就已经违反了相关的财经纪律和法律法规。即使后续在检查期间退还了这些违规发放的津补贴，也不能抹去之前违规行为的事实。退还只能被视为一种补救措施，但并不能完全消除违规行为所带来的法律后果。

其次，是否构成违法，还需要考虑具体的法律条款和违规行为的性质、情节等因素。如果违规发放津补贴的行为已经触犯了相关的法律条款，那么即使退还了款项，也可能面临法律的制裁。例如，如果违规发放津补贴的行为构成了贪污、挪用公款等犯罪，那么退还款项并不能免除刑事责任。

此外，从实践的角度来看，检查机关在发现违规发放津补贴的行为后，会依法进行调查和处理。即使退还了款项，检查机关仍然会根据违规行为的性质、情节等因素，依法作出相应的处理决定。这可能包括行政处罚、纪律处分等。

综上所述，违规发放津补贴在检查期间退还，并不能完全消除违规行为所带来的法律后果。因此，建议各单位和个人在发放津补贴时，应严格遵守相关的财经纪律和法律法规，确保资金的合法合规使用。如果发现有违规行为，应及时采取措施进行纠正，并主动接受检查机关的调查和处理。