在建筑行业中，劳动关系的认定是一个相对复杂且具体的问题，它涉及到多个主体和多种法律关系。以下是对建筑行业劳动关系认定的详细解析：

一、劳动关系认定的基本原则

劳动关系的认定主要基于劳动者是否实际接受用人单位的管理、指挥或监督，用人单位的规章制度是否适用于劳动者，以及劳动者提供的劳动是否是用人单位业务的组成部分等因素。在建筑行业，由于用工方式的特殊性，如承揽、劳务关系、违法分包、转包等情形的存在，使得劳动关系的认定更加复杂。

二、建筑行业用工的特殊性

1. 用工主体多样：建筑项目中可能存在施工单位、劳务单位、施工队、劳务班组、农民工等多个主体。
2. 用工方式灵活：建筑劳动者流动性强，短期性、分散性用工特点明显，有的直接受雇于项目经理或“包工头”，工资按日计算，不直接接受建筑公司日常考勤管理。
3. 法律关系复杂：同一个建筑施工项目可能同时存在承揽关系、劳务关系等多种法律关系。

三、劳动关系与劳务关系的区别

1. 劳动关系：劳动者与用人单位之间存在建立劳动关系的合意，劳动者接受用人单位的管理，适用用人单位的规章制度，提供的劳动是用人单位业务的组成部分。
2. 劳务关系：劳动者与用工单位之间不存在建立劳动关系的合意，劳动者可能只是按照约定提供特定的劳务，不受用工单位的日常管理，也不适用用工单位的规章制度。

四、具体案例分析

以您提供的案例为例，吴某在建筑工地工作，但并无证据证明某建筑公司与吴某之间存在建立劳动关系的合意。吴某的工作均由蒋某进行日常管理，并非直接接受某建筑公司的用工管理，也不适用某建筑公司的规章制度。因此，吴某与某建筑公司之间不符合劳动关系人身从属性的条件，不应认定劳动关系。

五、法律法规依据

根据《保障农民工工资支付条例》的规定，施工总承包单位或者分包单位应当与所招用的农民工订立劳动合同。这表明，在工程建设领域中，农民工提供的劳动是适用《劳动法》调整的，农民工是与相关单位存在劳动关系的。然而，在实际操作中，仍需根据具体情况进行综合分析判断。

六、建议与总结

对于建筑行业的劳动关系认定，建议从以下几个方面进行考虑：

1. 审查用工合意：确认劳动者与用人单位之间是否存在建立劳动关系的合意。
2. 考察管理关系：分析劳动者是否接受用人单位的管理、指挥或监督。
3. 判断业务组成：判断劳动者提供的劳动是否是用人单位业务的组成部分。
4. 综合考量：结合建筑行业的特殊性和具体情况进行综合分析判断。

总之，建筑行业的劳动关系认定是一个复杂而具体的问题，需要根据实际情况进行综合分析判断。在处理相关争议时，应充分考虑建筑行业的特殊性和劳动者的合法权益。