结论：别人说你是“小人”，是否构成人身攻击，需结合具体语境、行为方式及后果综合判断。若该言论具有侮辱性、贬损性，且导致你的社会评价降低或精神损害，则可能构成人格权侵权；若仅为一般性评价或情绪化表达，未造成实际损害，则通常不构成法律意义上的人身攻击。

一、法律视角下的人身攻击认定标准

根据《民法典》第1024条，民事主体享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害他人名誉权。认定“人身攻击”需满足以下要件：

1. 行为具有违法性：言论需超出合理批评范畴，具有侮辱、诽谤性质。例如，公开称对方“小人”并伴随贬损性描述（如“偷窃”“背信弃义”），可能构成侮辱；若捏造事实（如虚构对方“贪污”），则可能构成诽谤。
2. 存在损害后果：需证明言论导致你的社会评价降低（如同事、朋友因此疏远你）或精神损害（如焦虑、抑郁）。若言论仅在私下场合表达，未对外传播，通常难以认定损害后果。
3. 行为与后果存在因果关系：损害后果需直接由言论引发，而非其他因素导致。

二、具体情境分析

1. 公开场合的贬损性言论
   若对方在公开场合（如会议、社交媒体）称你是“小人”，并伴随具体贬损行为（如散布不实信息、恶意中伤），且导致你的社会评价降低，则可能构成名誉权侵权。此时，你可依据《民法典》第179条要求对方停止侵害、赔礼道歉、消除影响，并主张精神损害赔偿。

2. 私下场合的情绪化表达
   若对方仅在私下场合（如两人争吵时）称你是“小人”，未对外传播，且未造成实际损害，则通常不构成法律意义上的人身攻击。此类言论可能属于道德评价范畴，法律不予干预。

3. 言论的边界：合理批评与侮辱的区分
   法律允许对他人行为进行合理批评，但批评需基于事实，且语言需适度。例如，若对方因你未履行合同义务而称你“不诚信”，属于合理批评；但若无端称你“小人”并捏造事实，则可能越界为侮辱。

三、实务建议

1. 固定证据：若认为对方言论构成侵权，需及时保存证据（如聊天记录、录音、证人证言等），以证明言论内容、传播范围及损害后果。
2. 协商或投诉：可先尝试与对方沟通，要求其停止侵害并道歉；若协商无果，可向平台投诉（如社交媒体）或向单位、学校反映（如职场、校园纠纷）。
3. 法律途径：若损害严重，可向法院提起名誉权纠纷诉讼，主张侵权责任。诉讼中需证明对方行为符合侵权要件，并提供充分证据支持。

总结：是否构成人身攻击需结合具体情境判断。若言论具有侮辱性、贬损性，且导致实际损害，可依法维权；若仅为一般性评价或情绪化表达，建议通过沟通或投诉解决。如有进一步疑问，可直接向我咨询。