核心结论：仅仅因为你说他和别人聊天，他通常不能直接告你诽谤。诽谤的构成需要满足一定的条件。

详细分析：

1. 诽谤的定义：诽谤是指故意散布虚构的事实，损害他人名誉的行为。要构成诽谤，通常需要满足以下要素：一是散布的事实是虚构的；二是该事实对受害人的名誉造成了损害；三是散布者具有故意。

2. 你的行为分析：你说他和别人聊天，这本身并不构成诽谤。首先，聊天是一个日常行为，通常不会涉及虚构的事实；其次，仅仅提及这一行为，并不足以对他人的名誉造成实质性损害；最后，如果你没有故意捏造或夸大事实，那么也不存在故意散布虚假信息的情形。

3. 可能的情况：当然，如果你的言论中包含了对他人的不实指责或恶意揣测，且这些言论被公开传播并对受害人的名誉造成了损害，那么受害人是有权提起诽谤诉讼的。但根据你目前所描述的情况，仅仅说他和别人聊天，并不构成诽谤。

法律建议：

• 在日常交流中，注意言辞的恰当性和准确性，避免使用可能损害他人名誉的言辞。
• 如果遇到他人对你的不实指责或诽谤，你可以考虑通过法律途径来维护自己的名誉权。

总之，仅仅因为你说他和别人聊天，他通常不能直接告你诽谤。但如果你在日常交流中使用了不当言辞或散布了虚假信息，那么可能会面临法律风险。因此，建议你在交流中保持谨慎和尊重。