结论：没有确凿证据的情况下，仅口头称别人为“傻子”，一般不构成法律意义上的诽谤，但可能涉及名誉权侵权，具体需结合实际情况判断。
分析说明：
诽谤的构成要件：
- 诽谤通常要求行为人故意捏造并散布虚构的事实，导致他人社会评价降低。在您描述的情况中，若“称别人为傻子”并非基于虚构事实，而是主观评价或情绪表达，且没有散布（如仅在私下场合对特定人提及），则通常不构成诽谤。
- 诽谤的成立需要满足“散布”这一要件，即向不特定第三人或多数人传播不实信息。若仅在双方之间私下交流，未对外传播，也不构成诽谤。
名誉权侵权的可能性：
- 即使不构成诽谤，口头侮辱或贬低他人（如称别人为“傻子”）仍可能侵犯对方的名誉权。名誉权是公民或法人保持并维护自己名誉的权利，任何组织或个人不得以侮辱、诽谤等方式侵害他人的名誉权。
- 若此类言论导致对方社会评价降低、精神受损或产生其他负面影响，受害方有权要求侵权方承担民事责任，包括停止侵害、赔礼道歉、赔偿损失等。
证据的重要性：
- 在法律纠纷中，证据是认定事实的关键。若您认为自己的名誉权受到侵害，应尽可能收集相关证据，如录音、录像、证人证言等，以证明对方存在侵权行为及由此造成的损害后果。
- 若没有确凿证据，仅凭口头陈述，可能难以在法律上得到充分支持。因此，在维护自身权益时，务必注重证据的收集和保存。
行动建议：
若您是受害方：
- 尝试与对方沟通，要求其停止侵权行为并赔礼道歉。
- 若沟通无果，可考虑向相关部门（如社区、单位等）投诉或寻求调解。
- 若损害后果严重，可咨询专业律师，评估是否具备起诉条件，并准备相关证据材料。
若您是被告方：
- 反思自己的言行是否确实侵犯了对方的名誉权。
- 若认为自己的言行并无不当，可准备相关证据（如证明对方存在过错、自己的言行未造成损害等）以应对可能的法律纠纷。
- 积极与对方沟通，寻求和解或调解，以避免不必要的法律冲突。
后续思考：在日常生活中，我们应尊重他人的名誉权，避免使用侮辱性或贬低性的语言。若发生纠纷，应理性处理，通过合法途径维护自身权益。如有任何法律疑问或需要进一步的法律帮助，请随时向我咨询。