在工地上被别人辱骂后推倒了对方，推人者是否需要承担责任，需视具体情况而定。以下从不同角度进行分析：
一、推人者可能承担的责任类型
民事责任：
- 如果推人行为导致对方受伤，推人者可能需要承担民事赔偿责任，包括医疗费、误工费、护理费等。根据《中华人民共和国民法典》的相关规定，侵害他人造成人身损害的，应当赔偿这些合理费用。
- 即使推人行为未直接导致对方受伤，但如果对方因此产生了精神损害（如因辱骂和推搡导致的心理创伤），在特定情况下，推人者也可能需要承担一定的精神损害赔偿责任。不过，这通常需要对方提供充分的证据来证明其精神损害的存在和程度。
行政责任：
- 如果推人行为被认定为违反了《中华人民共和国治安管理处罚法》的相关规定（如殴打他人或故意伤害他人身体），推人者可能会受到行政处罚，如警告、罚款、拘留等。
刑事责任：
- 如果推人行为导致对方受到严重伤害（如轻伤以上），推人者可能构成故意伤害罪，需要承担刑事责任。根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制；致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。
二、责任认定的关键因素
推人行为的性质：
- 推人行为是故意还是过失？如果是故意推人，且导致了对方受伤，那么推人者承担责任的可能性更大。
- 推人行为是否属于正当防卫或紧急避险？如果推人行为是为了防止自己或他人受到正在进行的不法侵害而采取的，且没有超过必要的限度，那么可能不承担责任或承担较小的责任。
对方的行为：
- 对方是否先进行了辱骂或其他挑衅行为？虽然辱骂行为本身不构成推人者免责的理由，但可能会影响责任的分担比例。例如，如果对方先进行了严重的辱骂和挑衅，推人者在情绪激动下推倒了对方，那么在责任认定时可能会考虑这一因素。
伤害后果：
- 推人行为是否导致了对方受伤？受伤的程度如何？这些因素将直接影响推人者是否需要承担民事赔偿责任以及赔偿的数额。
三、建议与后续行动
保留证据：
- 如果可能的话，尽量保留现场证据，如拍照、录像或寻找目击证人。这些证据将有助于后续的责任认定和赔偿协商。
及时报警：
- 如果推人行为导致了对方受伤或存在其他严重后果，建议及时报警。警方将进行调查并出具相应的法律文书，这将为后续的责任认定和赔偿提供依据。
咨询专业律师：
- 由于责任认定和赔偿协商可能涉及复杂的法律问题，建议咨询专业律师以获取更具体的法律建议和帮助。不过，在此之前，你可以先向我咨询，我会根据你的具体情况提供初步的法律分析和建议。
如有任何法律问题或需要进一步的帮助，请直接向我咨询。我会根据你的具体情况提供详细的法律分析和建议。