结论：在隔壁骂人的情况下，您拿着小音响听歌这一行为本身并不直接构成违法，但需根据具体情况判断是否侵犯他人合法权益或违反社会公德。

详细分析：

1. 行为合法性分析：

   • 个人行为自由：在一般情况下，您有权在自己的住所内进行正常的娱乐活动，如听歌等，这是您的个人行为自由。
   • 不直接侵犯他人权益：仅仅拿着小音响听歌，并未直接对隔壁骂人者进行任何形式的攻击或侵犯，因此，从直接行为上看，并不构成违法。

2. 可能涉及的侵权问题：

   • 噪音扰民：如果小音响的音量过大，超出了正常娱乐的范畴，对隔壁或其他邻居的正常生活造成了干扰，那么可能构成噪音扰民。根据《中华人民共和国环境噪声污染防治法》的相关规定，任何单位和个人都有保护声环境的义务，不得随意制造噪声干扰他人生活。在这种情况下，您可能需要承担相应的法律责任，如被要求停止侵害、排除妨碍、赔偿损失等。
   • 社会公德与邻里关系：虽然法律没有明确规定在隔壁骂人时您不能听歌，但从社会公德和邻里关系的角度来看，如果您的行为（如听歌音量过大）加剧了邻里之间的矛盾或冲突，那么这种行为可能不被社会所接受。在这种情况下，建议您尽量保持克制，通过沟通协商或寻求第三方调解等方式解决邻里纠纷。

3. 建议与措施：

   • 调整音量：为了避免可能的噪音扰民问题，建议您在听歌时适当调整音量，确保不会对邻居的正常生活造成干扰。
   • 沟通协商：如果隔壁的骂人行为已经对您造成了困扰，建议您尝试与对方进行沟通协商，寻求和平解决的方式。如果沟通无果，您可以考虑向物业、社区或相关部门寻求帮助。
   • 法律途径：如果隔壁的骂人行为已经构成了对您名誉权、人格权等合法权益的侵犯，且无法通过沟通协商解决，那么您可以考虑通过法律途径维护自己的权益，如向法院提起诉讼等。

总结：在隔壁骂人的情况下，您拿着小音响听歌这一行为本身并不直接构成违法，但需注意避免噪音扰民和侵犯他人合法权益的问题。如果遇到邻里纠纷或侵权问题，建议您保持冷静、理性处理，并通过沟通协商或法律途径寻求解决方案。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。