您好，关于您提出的“能否不申请认定劳动关系，直接申请认定工伤”的问题，这确实是一个涉及工伤保险认定流程的重要问题。

首先，我们需要明确的是，在通常情况下，社会保险行政部门在认定职工工伤时，确实是以职工与用人单位之间存在劳动关系为前提的。这是基于一般的劳动法律关系和工伤保险制度的设计原理。

然而，也存在一些特定情形，即使不存在直接的劳动关系，因工受伤者也能享受工伤保险待遇。这主要发生在建筑施工、矿山企业等领域，当这些企业将工程（业务）或经营权发包给不具备用工主体资格的组织或自然人时，如果该组织或自然人招用的劳动者在从事承包业务时因工伤亡，那么由具备用工主体资格的发包方承担工伤保险责任。这一规定是为了全面保护劳动者的合法权益，防止因用工关系复杂而导致的工伤保险权益落空。

以您提到的案例为例，小吴在工地干活过程中摔下楼受伤，虽然他与建设公司不存在直接的劳动关系，但由于建设公司将部分工程分包给了不具备用工主体资格的周某等人，而周某又联系了小吴来工地干活，因此建设公司应当依法承担小吴的工伤保险责任。最终，在检察机关的抗诉和法院的判决下，人社部门也作出了工伤认定决定。

至于您是否可以直接申请工伤认定而不先申请认定劳动关系，这取决于您的具体情况。如果您的情况符合上述特定情形的规定，即您是在不具备用工主体资格的组织或自然人招用下从事工作，并因工伤亡，且该组织或自然人是从具备用工主体资格的单位承包的业务，那么您可以直接向社会保险行政部门提出工伤认定申请，而无需先申请认定劳动关系。

但如果您的情况不符合上述特定情形，那么您可能需要先通过劳动仲裁或诉讼等途径确认与用人单位之间的劳动关系，然后再申请工伤认定。

另外，根据《广东省工伤保险条例》等相关规定，如果用人单位未在规定时间内提出工伤认定申请，职工或其近亲属、工会组织也可以直接向社会保险行政部门提出工伤认定申请。这一规定为职工提供了更多的维权途径。

综上所述，是否可以直接申请工伤认定而不先申请认定劳动关系，取决于您的具体情况和是否符合特定情形的规定。如果您对此仍有疑问或需要进一步的帮助，请随时告诉我。