结论：在工地干活只干了几天且没有间接证据、他人不愿作证的情况下，工资仍然有可能要回来，但需要采取合适的策略和途径。以下是从不同角度为你详细分析的情况和建议：
一、法律角度
劳动关系认定：
- 即便工作时间短暂，只要存在事实劳动关系，劳动者就有权获得相应的劳动报酬。根据《中华人民共和国劳动合同法》及相关规定，用人单位应当按照劳动合同约定和国家规定，向劳动者及时足额支付劳动报酬。
- 即使没有签订书面劳动合同，只要你能提供初步证据证明与用人单位存在事实劳动关系（如工作证、工作服、考勤记录、工资条等，尽管这些证据可能因时间短暂而难以获取），就有可能获得法律支持。
举证责任：
- 在劳动争议中，举证责任通常遵循“谁主张，谁举证”的原则。但根据《劳动争议调解仲裁法》的规定，与争议事项有关的证据属于用人单位掌握管理的，用人单位应当提供；用人单位不提供的，应当承担不利后果。
- 因此，如果用人单位拒绝提供工资支付记录等关键证据，可能面临不利后果。
二、实际操作角度
收集证据：
- 尽管时间短暂且缺乏直接证据，但仍应尽力收集任何可能证明你与用人单位存在劳动关系及工资标准的证据。例如，尝试获取工友的证言（即使他们不愿出庭作证，书面证言也可能有一定效力）、工作现场的照片或视频、与用人单位的沟通记录（如短信、微信等）等。
- 同时，保留好任何与工作相关的物品，如工作服、工具等，作为辅助证据。
协商与调解：
- 在采取法律手段之前，可以尝试与用人单位进行协商，寻求和解。有时候，通过友好的沟通，用人单位可能会愿意支付应得的工资。
- 如果协商无果，可以寻求当地劳动监察部门或劳动争议调解组织的帮助，进行调解。这些机构通常具有中立性和权威性，有助于促成双方达成和解。
法律途径：
- 如果协商和调解均无法解决问题，可以向当地劳动争议仲裁委员会申请仲裁。在仲裁过程中，你需要提供尽可能多的证据来支持你的主张。
- 如果对仲裁结果不服，还可以向人民法院提起诉讼。在诉讼过程中，法院将根据双方提供的证据和法律规定进行裁决。
三、特殊情况考虑
- 如果用人单位否认劳动关系：在这种情况下，你需要提供更多证据来证明你与用人单位之间存在事实劳动关系。这可能包括工作现场的监控录像、与用人单位负责人的通话记录、银行转账记录（如果工资是通过银行转账支付的）等。
- 如果用人单位拒绝支付工资且无法联系：在这种情况下，你可以向当地劳动监察部门投诉，并寻求他们的帮助来追讨工资。同时，你也可以考虑向法院申请支付令或提起诉讼来维护自己的权益。
建议：尽管面临一些困难，但你仍然应该积极采取行动来维护自己的权益。在收集证据和采取法律手段的过程中，如果感到困惑或无助，可以随时向我咨询。我会根据你的具体情况提供专业的法律建议和帮助。