将未装过水银但标有水银标识的容器扔在河中，可能构成违法。具体分析如下：
可能构成环境污染：
- 根据我国《环境保护法》及相关法律法规，向水体排放、倾倒有毒有害物质是违法的。虽然容器内未装水银，但标有水银标识可能会误导他人认为容器内含有水银，从而引发不必要的恐慌或处理措施。此外，即使容器内未实际装有水银，但标识的存在可能构成对环境的潜在威胁，因为他人可能因误解而采取不当处理，导致环境污染。
可能构成诈骗或虚假标识：
- 如果该容器被他人发现，并因水银标识而引发不必要的紧急响应或处理费用，扔弃者可能因虚假标识或诈骗行为而承担法律责任。尽管容器内未实际装有水银，但标识的误导性可能构成对公共资源的浪费或对他人的欺诈。
建议与措施：
- 对于不再使用的容器，应妥善处理，避免将其随意丢弃在环境中。特别是标有有毒有害物质标识的容器，更应谨慎处理，以防止对环境和他人造成不必要的危害。
- 如果发现有人随意丢弃此类容器，应及时向相关部门举报，以便采取适当的处理措施。
综上所述，将未装过水银但标有水银标识的容器扔在河中，可能因环境污染、诈骗或虚假标识等理由而构成违法。因此，建议妥善处理此类容器，避免引发不必要的法律纠纷。