结论：说别人“小人”是否违法，需结合具体情境来判断，一般情况下不构成违法，但在特定情境下可能侵犯他人名誉权。
分析如下：
一般情况下的言论自由：
- 在日常生活中，人们有权对他人进行评价和议论，这是言论自由的一种体现。说别人“小人”，如果只是基于个人主观感受或一般性的道德评判，且没有捏造事实、恶意诽谤或侮辱他人，那么这种言论通常不会被视为违法。
可能构成侵犯名誉权的情形：
- 捏造事实：如果所说的“小人”行为是捏造的，且这种捏造对他人名誉造成了损害，那么可能构成侵犯名誉权。例如，无中生有地指责某人做了不道德或违法的事情，导致该人在社会评价上降低。
- 恶意诽谤或侮辱：即使所说的内容部分属实，但如果以恶意为目的，通过夸大、歪曲事实或使用侮辱性语言对他人进行诽谤或侮辱，也可能构成侵犯名誉权。例如，在公开场合或通过社交媒体恶意传播对某人的负面评价，导致其名誉受损。
法律后果：
- 如果构成侵犯名誉权，受害人有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。在严重的情况下，侵权人还可能面临行政处罚或刑事责任。
建议：
- 谨慎言论：在日常生活中，我们应该谨慎对待对他人的评价和议论，避免使用过于激烈或侮辱性的语言。即使对某人有不满或批评，也应该以客观、理性的态度表达，避免侵犯他人的合法权益。
- 尊重他人：尊重他人的名誉和尊严是每个人的基本道德义务。我们应该尊重他人的感受和权利，不随意对他人进行贬低或攻击。
- 寻求法律帮助：如果你认为自己或他人的名誉权受到了侵犯，可以及时咨询专业律师（比如我哦，我擅长婚姻家庭、劳动纠纷、交通事故、侵权纠纷领域），了解自己的权利和义务，并寻求法律帮助来维护自己的合法权益。
例子：
- 假设A在私下里对B说：“我觉得你有时候有点小人。”如果这只是A的个人感受，且没有恶意或捏造事实，那么这种言论通常不会被视为违法。
- 假设C在公开场合或通过社交媒体恶意传播对D的负面评价，称D为“小人”，并捏造了一些不实之词来诽谤D，导致D的名誉受损。在这种情况下，C的行为可能构成侵犯名誉权，D有权要求C承担相应的法律责任。