结论：是否构成犯罪，不能仅根据你描述的“说他矮粗胖并打了他”这一简单行为来判定，这需要结合具体情节、伤害后果以及行为人的主观意图等多方面因素来综合判断。下面我会从不同角度为你详细分析。
一、从伤害后果角度分析
轻微伤：
- 如果你的行为仅导致对方轻微伤，那么根据《中华人民共和国治安管理处罚法》的相关规定，你可能会面临行政处罚，如罚款、拘留等，但一般不会构成犯罪。不过，这并不意味着你的行为没有法律后果，行政处罚同样会对你的生活和工作产生影响。
轻伤或重伤：
- 如果你的行为导致对方轻伤或重伤，那么根据《中华人民共和国刑法》的相关规定，你可能会构成故意伤害罪。故意伤害罪是指故意非法损害他人身体健康的行为，根据伤害程度的不同，刑罚也会有所不同。轻伤可能面临三年以下有期徒刑、拘役或者管制；重伤则可能面临三年以上十年以下有期徒刑，甚至更重的刑罚。
二、从行为人的主观意图角度分析
故意：
- 如果你在打人时具有故意伤害他人的主观意图，那么无论伤害后果如何，你的行为都可能构成犯罪（如上述的故意伤害罪）。故意伤害他人的主观意图可以通过你的行为、言语、表情等多方面来推断。
过失：
- 如果你在打人时并没有故意伤害他人的意图，而是由于疏忽大意或者过于自信等原因导致了对方受伤，那么你的行为可能构成过失致人重伤罪（如果后果严重）或者不构成犯罪（如果后果轻微）。不过，过失致人重伤罪同样需要承担刑事责任。
三、从其他情节角度分析
是否具有自首、立功等情节：
- 如果你在打人后主动投案自首或者协助公安机关抓捕其他犯罪嫌疑人等，那么根据《中华人民共和国刑法》的相关规定，你可以从轻或者减轻处罚。
是否得到对方谅解：
- 如果你在打人后积极与对方沟通并取得对方的谅解，那么这可能会对你的量刑产生一定影响。虽然谅解并不能完全免除你的刑事责任，但可以在一定程度上减轻你的刑罚。
四、法律建议
立即停止违法行为：
- 无论你的行为是否构成犯罪，打人都是不对的。我建议你立即停止这种违法行为，并主动与对方沟通协商解决此事。
积极配合调查：
- 如果公安机关已经介入调查此事，我建议你积极配合公安机关的工作，如实陈述事实经过，不要隐瞒或者歪曲事实。
寻求法律帮助：
- 如果你对此事的处理感到困惑或者担忧，我建议你及时寻求专业的法律帮助。作为一名专业律师，我可以为你提供详细的法律咨询和辩护服务，帮助你更好地应对此事。
最后，我想强调的是，法律是严肃的，任何违法行为都可能受到法律的制裁。因此，我建议你以后在处理类似事情时保持冷静和理智，通过合法途径来解决问题。如果你有任何法律问题或者需要进一步的法律帮助，请随时向我咨询。