别人骂你“小人”并不直接构成人身攻击罪。在刑法上，人身攻击罪通常指的是以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，且情节严重的行为。而单纯的言语辱骂，如骂你“小人”，虽然可能不礼貌或令人不悦，但并不一定达到刑法的处罚标准。

1. 不构成人身攻击罪的情况：

   • 如果这种辱骂是偶尔发生，且没有造成严重的社会影响或伤害，那么通常不会被视为犯罪。此时，你可以考虑通过沟通、协商或寻求第三方调解等方式来解决纠纷。

2. 可能构成其他违法行为的情况：

   • 如果一个人多次对你进行这样的辱骂行为，且对你造成了一定的社会影响和伤害，你可能可以告他恶意诋毁和骚扰。但这种情况下，你需要掌握有力的证据来支持你的主张，如聊天记录、证人证言等。
   • 如果辱骂行为升级为暴力威胁、恐吓或实际的身体伤害，那么就可能构成更严重的犯罪，如寻衅滋事、故意伤害等。

3. 法律建议：

   • 在面对辱骂等不当行为时，首先要保持冷静和理智，避免情绪化的回应。
   • 如果认为自己的权益受到了侵犯，可以收集相关证据，并考虑向公安机关报案或向法院提起诉讼。
   • 在法律程序中，务必遵循法律程序和要求，提供充分的证据来支持自己的主张。

总之，别人骂你“小人”并不直接构成人身攻击罪，但如果你因此受到了严重的社会影响或伤害，可以考虑通过法律途径来维护自己的权益。如果你有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。