若工地管理人员存在骂人行为，您有权采取以下措施维护自身权益：

1. 明确行为性质与法律后果
   根据《民法典》第1024条，辱骂他人属于侵犯名誉权的行为，若造成您社会评价降低或精神损害，可要求对方停止侵害、赔礼道歉，甚至主张精神损害赔偿。若辱骂内容涉及侮辱、诽谤（如捏造事实贬损人格），且情节严重（如公开场合辱骂、多次辱骂），可能触犯《治安管理处罚法》第42条，面临5日以下拘留或500元以下罚款；情节较重的，处5-10日拘留，可并处500元以下罚款。

2. 分场景应对策略

   • 现场处理：
     立即要求对方停止辱骂，并明确告知其行为已违法（可引用上述法条）。若对方继续，用手机录音录像取证（需注意合法性，避免侵犯他人隐私），记录时间、地点、在场人员及辱骂内容。
     
   • 向单位投诉：
     若管理人员隶属建筑公司或项目部，可向其上级或人力资源部门提交书面投诉，附上证据材料，要求单位介入调查并处理（如警告、调岗、解除劳动合同等）。根据《劳动合同法》第38条，若单位未履行管理职责导致您权益受损，您可主张解除合同并要求经济补偿。
     
   • 报警或诉讼：
     若辱骂行为造成严重精神损害（如失眠、抑郁等），或对方拒不道歉，可向公安机关报案，或直接向法院提起民事侵权诉讼，要求赔偿医疗费、误工费及精神损害抚慰金。若辱骂行为构成治安违法，公安机关调查属实后，会依法作出处罚决定。

3. 注意事项

   • 证据固定：除录音录像外，可寻找目击证人出具书面证言，或保留聊天记录、短信等文字证据。
     
   • 避免冲突升级：冷静应对，勿以辱骂反击，否则可能被认定为“互殴”或“共同侵权”，影响自身维权。
     
   • 心理疏导：若因辱骂产生心理问题，可及时就医并保留诊断证明，作为主张精神损害赔偿的依据。

建议：根据辱骂情节轻重，优先通过单位内部投诉或报警处理；若损害后果严重，可委托律师协助收集证据并提起诉讼。如有进一步疑问，可直接向我咨询具体操作流程。