结论前置：该临时农民杂工与用工方之间更可能构成劳务关系，而非劳动关系；其摔伤责任承担需结合具体违规操作情形及双方过错程度判定。以下为详细分析：
一、劳动关系与劳务关系的区分
劳动关系：通常指用人单位与劳动者之间，依法签订劳动合同，劳动者接受用人单位管理，从事用人单位安排的工作，成为用人单位的成员，从用人单位领取报酬和受劳动保护所产生的法律关系。其核心特征在于“从属性”，即劳动者在人格、经济、组织上均从属于用人单位。
劳务关系：则是指平等民事主体之间就一方向另一方提供劳务，另一方接受劳务并支付对价而形成的权利义务关系。其核心特征在于“平等性”，即双方地位平等，不存在管理与被管理的关系。
本案分析：
- 临时农民杂工在建筑工地工作，若未签订书面劳动合同，且用工方未对其进行持续、稳定的管理，未将其纳入组织体系，则双方之间更可能构成劳务关系。
- 即便存在口头约定或事实上的用工行为，若缺乏劳动关系的核心特征（如从属性），仍不足以认定双方为劳动关系。
二、摔伤责任承担
若构成劳动关系：
- 根据《工伤保险条例》，劳动者在工作时间和工作场所内，因工作原因受到事故伤害的，应认定为工伤，享受工伤保险待遇。
- 用工方未为劳动者缴纳工伤保险的，需自行承担工伤保险责任。
若构成劳务关系：
- 根据《民法典》相关规定，提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。
- 本案中，若杂工因违规操作导致摔伤，需结合其违规操作的性质、程度以及用工方是否提供足够的安全保障措施等因素，判定双方过错程度，进而确定责任承担比例。
具体责任判定：
- 若杂工违规操作系故意或重大过失，且用工方已尽到安全保障义务，则杂工可能需承担主要或全部责任。
- 若用工方未提供必要的安全培训、防护措施或存在其他过错，则用工方需承担相应责任。
三、建议与风险提示
对于杂工：
- 保留相关证据（如工作记录、证人证言、医疗记录等），以证明其与用工方之间的劳务关系及摔伤事实。
- 及时与用工方协商赔偿事宜，若协商不成，可依法向人民法院提起诉讼。
对于用工方：
- 规范用工行为，与劳动者签订书面劳动合同，缴纳社会保险。
- 加强安全管理，提供必要的安全培训、防护措施，降低事故风险。
- 若发生事故，应积极与劳动者协商赔偿事宜，避免矛盾升级。
总结：本案中，临时农民杂工与用工方之间更可能构成劳务关系。其摔伤责任承担需结合具体违规操作情形及双方过错程度判定。建议双方保留相关证据，依法维护自身权益。如有进一步法律问题，可直接向我咨询。