首先，我们要明确一点：单位看错人或因谣言而对员工产生误解，并不是解除劳动合同的合法理由。接下来，我将详细解释这一点，并给出相关的法律建议。

结论：单位仅因看错人或谣言而解除与员工的劳动合同是不合法的。

法律解释：

1. 劳动合同的解除条件：根据《中华人民共和国劳动合同法》的规定，劳动合同的解除需要基于法定的事由，如员工严重违反规章制度、不能胜任工作等。单位看错人或谣言并不属于这些法定事由。
2. 谣言与看错人的性质：谣言和看错人通常属于误解或错误判断，这些并不构成解除劳动合同的合法依据。单位应该通过正当途径调查事实真相，而不是仅凭谣言或看错人就做出解除劳动合同的决定。

法律建议：

1. 沟通解决：如果员工认为单位对自己存在误解，建议首先与单位进行沟通，解释清楚事实真相，消除误解。
2. 保留证据：如果单位坚持要解除劳动合同，员工应该保留好相关证据，如劳动合同、工资单、工作记录等，以便后续维权。
3. 申请劳动仲裁：如果单位无正当理由解除劳动合同，员工可以向当地劳动仲裁委员会申请劳动仲裁，维护自己的合法权益。

总之，单位看错人或因谣言而解除与员工的劳动合同是不合法的。员工应该通过沟通、保留证据和申请劳动仲裁等方式来维护自己的权益。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。