被人说“小人”，一般情况下不直接构成法律上的严重侵权，但根据具体情境和后果，可能涉及名誉权侵权，甚至在某些极端情况下可能涉及刑事责任。以下从不同角度进行分析：

1. 名誉权侵权角度：

   • 法律基础：根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。若“小人”这一称呼是在公开场合或对不特定多数人传播，且该称呼带有贬损、侮辱性质，导致您的社会评价降低，那么可能构成名誉权侵权。
   • 法律后果：若构成名誉权侵权，您有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿因侵权行为造成的损失。
   • 建议行动：首先，尝试与侵权人沟通，要求其停止侵权行为并赔礼道歉；若沟通无果，可以收集相关证据（如录音、视频、文字记录等），向法院提起民事诉讼，要求侵权人承担相应的法律责任。

2. 刑事责任角度：

   • 极端情况：在极少数情况下，如果“小人”这一称呼不仅是在公开场合传播，而且伴随着其他严重侮辱、诽谤行为，如捏造事实、恶意中伤，且情节严重，可能构成《中华人民共和国刑法》中的侮辱罪或诽谤罪。
   • 法律后果：若构成犯罪，侵权人可能面临刑事处罚，包括有期徒刑、拘役、管制或剥夺政治权利等。
   • 建议行动：若您认为情况严重，且证据充分，可以向公安机关报案，要求公安机关立案侦查，并追究侵权人的刑事责任。但请注意，刑事立案有严格的证据和程序要求，需确保您的指控有充分的事实依据。

3. 一般情况下的处理建议：

   • 保持冷静：面对他人的不当称呼，首先要保持冷静，避免情绪化反应。
   • 沟通解决：尝试与对方进行沟通，了解对方为何如此称呼，并表达您的不满和期望。
   • 收集证据：无论是否选择法律途径解决，都建议收集相关证据，以备不时之需。
   • 寻求帮助：如果您感到无法独自应对，可以寻求家人、朋友或专业人士的帮助和支持。

总结来说，被人说“小人”是否构成法律责任，需根据具体情境和后果来判断。若构成名誉权侵权或刑事犯罪，您有权要求侵权人承担相应的法律责任。在处理此类问题时，建议您保持冷静、收集证据，并根据实际情况选择合适的解决途径。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。