结论：对方来你小区破坏名声的行为，可能构成侵权，具体是否违法需结合行为方式和造成的后果来判断。
详细分析：
名誉权侵权：
- 法律依据：根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉是对民事主体的品德、声望、才能、信用等的社会评价。
- 行为分析：如果对方在你小区内通过散布谣言、恶意诋毁等方式破坏你的名声，导致你的社会评价降低，那么这种行为就可能构成名誉权侵权。
行为方式的考量：
- 公开性：小区作为公共场所，信息传播速度较快，影响范围较广。如果对方在小区内公开进行破坏名声的行为，如张贴大字报、在公共区域大声诋毁等，这种行为的公开性会加剧对你名誉的损害。
- 持续性：如果对方持续不断地进行破坏名声的行为，如多次在小区内散布谣言，那么这种行为的持续性也会增加侵权的严重性。
法律后果：
- 民事责任：如果对方的行为构成名誉权侵权，你有权要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
- 刑事责任：在极端情况下，如果对方的行为情节严重，如造成你精神严重受损或社会评价极度降低，甚至可能构成侮辱罪或诽谤罪，需要承担刑事责任。但这种情况相对较少，需要具体分析行为方式和后果。
建议：
- 收集证据：如果对方确实存在破坏你名声的行为，建议你及时收集相关证据，如照片、视频、证人证言等，以便在需要时维护自己的合法权益。
- 沟通协商：在可能的情况下，你可以尝试与对方进行沟通协商，了解对方的行为动机，并尝试通过和平方式解决问题。
- 寻求法律帮助：如果对方的行为持续不断或情节严重，建议你及时寻求法律帮助，向我咨询具体的法律策略和维权途径。
额外提醒：
- 在处理此类纠纷时，请保持冷静和理性，避免采取过激行为或言语反击，以免加剧矛盾或引发新的法律问题。
- 如果你对法律程序或维权途径不熟悉，建议及时咨询专业律师，以便更好地维护自己的合法权益。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。