结论：邻居损坏你名声且不承认的行为，在缺乏证据的情况下，难以直接认定其犯法并追究法律责任。但若你能收集到足够证据证明其侵权行为，则可依法维权。
分析说明：
名誉权保护的法律基础：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉权受到侵害的，受害人有权依照法律请求行为人承担民事责任。
证据的重要性：
- 在法律程序中，证据是认定事实、判断责任的关键。若你主张邻居损坏了你的名声，需要提供充分的证据来证明这一事实。证据可以包括但不限于：目击者的证言、录音录像资料、书面材料（如诽谤性的信件、短信、社交媒体帖子等）、以及任何其他能够证明邻居实施了侵权行为的证据。
缺乏证据时的法律后果：
- 如果你无法提供足够的证据来证明邻居损坏了你的名声，那么法律上难以直接认定邻居犯法并追究其法律责任。因为法律讲究的是“以事实为依据，以法律为准绳”，没有证据支持的主张，难以得到法律的支持。
如何收集证据与维权：
- 如果你认为邻居确实损坏了你的名声，可以尝试通过合法途径收集证据，如与邻居沟通时录音、保存相关书面材料、寻找目击者等。
- 一旦收集到足够证据，你可以先尝试与邻居协商解决，要求其停止侵权行为并赔礼道歉。
- 如果协商无果，你可以向法院提起民事诉讼，要求邻居承担侵权责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等。
特殊场景：
- 在某些特殊情况下，即使缺乏直接证据，但如果能够形成完整的证据链，或者邻居的行为符合某些特定的侵权构成要件（如公开侮辱、诽谤等），也可能被认定为侵权。但这需要具体案件具体分析，且通常需要专业律师的协助。
行动建议：
- 如果你认为邻居损坏了你的名声，建议尽快收集证据，并咨询专业律师（即我，尹先锋律师）的意见。
- 在收集证据和维权过程中，务必保持冷静和理性，避免采取过激行为或违法手段，以免给自己带来不必要的麻烦。
最后，我想强调的是，法律是维护社会公平正义的基石，也是保护个人权益的有力武器。如果你遇到了名誉权被侵害的问题，不要害怕，也不要放弃，通过合法途径积极维权，相信法律会给你一个公正的答复。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。