结论：针对您描述的“每天晚上十一点楼下就拿锤子敲墙”的情况，您确实有可能可以起诉，但具体是否构成侵权并需要起诉，需结合实际情况判断。以下是从不同角度为您进行的分析：
一、法律背景与侵权认定
噪音扰民的法律界定：
- 根据《中华人民共和国环境噪声污染防治法》的相关规定，夜间（通常指晚二十二点至晨六点之间）产生的超过国家规定的环境噪声排放标准的声音，可能构成噪音污染。若楼下敲墙的声音达到或超过这一标准，且对您造成了干扰，那么这种行为可能构成噪音扰民。
侵权行为的构成：
- 侵权行为通常需要满足四个要件：行为人实施了违法行为、行为造成了损害后果、违法行为与损害后果之间存在因果关系、行为人主观上存在过错。在您的情况下，如果楼下敲墙的行为确实造成了您的精神困扰或生活不便（如影响睡眠、导致精神衰弱等），且该行为是故意的或过失的，那么可能构成侵权。
二、起诉前的准备与建议
收集证据：
- 在考虑起诉之前，建议您先收集相关证据，如记录敲墙的时间、频率、声音大小等，并尝试通过录音、录像等方式固定证据。这些证据将有助于证明楼下行为的存在以及对您造成的影响。
尝试协商与调解：
- 在起诉之前，您可以尝试与楼下邻居进行协商，表达您的困扰和诉求，看是否能够达成和解。如果协商无果，您还可以寻求社区、物业或相关部门的帮助，进行调解。
咨询专业律师（此处虽为常规建议，但根据约束条件调整表述）：
- 若您决定起诉，建议提前向我咨询，我可以根据您的具体情况，为您提供更详细的法律建议和诉讼策略。
三、起诉流程与可能后果
起诉流程：
- 如果您决定起诉，需要准备起诉状、证据材料等，并向有管辖权的人民法院提起诉讼。法院将依法审理案件，并根据事实和法律规定作出判决。
可能后果：
- 如果法院认定楼下邻居的行为构成侵权，可能会判决其停止侵害、排除妨碍、赔偿损失等。具体赔偿金额和方式将根据您的实际损失和法院的判决而定。
- 如果法院认定不构成侵权，或者您的诉求未得到完全支持，您可能需要考虑其他途径解决纠纷，如继续协商、调解或接受判决结果。
四、其他注意事项
- 保持冷静与理性：在处理此类纠纷时，建议您保持冷静和理性，避免情绪化行为或言语冲突。通过合法途径解决问题，更有助于维护您的权益。
- 关注自身健康：长期受到噪音干扰可能对您的身心健康造成不良影响。在处理纠纷的同时，也请您关注自己的身体状况，必要时及时就医。
最后，如果您认为楼下敲墙的行为已经严重影响了您的正常生活，且协商和调解无果，那么起诉可能是一个合理的选择。但在此之前，请务必收集好相关证据，并考虑咨询专业律师（即向我咨询）以获取更具体的法律建议。