结论：仅根据您所描述的情况，即一个人没来过您家、也没吃过您家的饭，但声称您家东西不新鲜，这一行为不一定构成诽谤或诋毁，是否构成需结合具体情境和证据来判断。

分析：

1. 诽谤与诋毁的定义：

   • 诽谤通常指的是故意散布虚构的言论，损害他人名誉的行为。
   • 诋毁则是指恶意中伤、贬低他人名誉或商誉的行为。

2. 关键要素考量：

   • 言论的真实性：若该人所述内容为虚构，即您家东西实际上新鲜，而他却故意散布不新鲜的说法，这可能构成诽谤或诋毁的初步要素。
   • 主观故意：需证明该人散布此言论是出于故意，即明知言论不实而故意为之，而非出于误解或无知。
   • 损害后果：需证明该言论对您造成了实际的损害，如名誉受损、经济损失等。

3. 具体情境分析：

   • 如果该人只是在一个小范围内，如与几个朋友闲聊时提及，且未造成广泛传播或对您产生实际损害，那么可能不构成法律上的诽谤或诋毁。
   • 如果该人通过社交媒体、公开场合或大量传播该言论，导致您名誉受损或遭受经济损失，那么您可能有权要求其承担法律责任。

4. 证据收集：

   • 若您认为该行为构成诽谤或诋毁，应收集相关证据，如该人的言论记录、传播范围、对您造成的损害证明等。
   • 证据的充分性和可信度对于证明诽谤或诋毁行为至关重要。

5. 法律建议：

   • 在采取法律行动前，建议先尝试与该人沟通，了解其言论的来源和动机，看是否能够通过协商解决问题。
   • 如果沟通无果，且您认为该行为确实对您造成了损害，可以咨询专业律师，了解具体的法律程序和维权途径。

后续行动建议：

• 观察该言论的传播范围和影响程度，评估是否对您造成了实际损害。
• 收集相关证据，以备不时之需。
• 如需进一步法律帮助，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。