结论：在项目手续不全且未签订合同的情况下，业主方要求先缴纳保证金，投标缴纳的费用能否退还，需根据具体情况分析，但通常存在退还的可能性。以下从不同角度进行详细分析：
一、法律关系与合同原则
合同成立与生效：
- 根据《中华人民共和国民法典》的相关规定，合同的成立需要双方意思表示一致，且内容合法。在未签订书面合同的情况下，若双方已就主要条款达成一致，可能构成口头合同或事实合同关系。但手续不全且未签订合同，往往意味着合同关系尚未稳固建立。
- 若因手续不全导致合同无法成立或生效，投标方有权要求退还已缴纳的费用，因为此时合同关系尚未确立，投标方没有义务承担合同风险。
诚实信用原则：
- 业主方在手续不全且未签订合同的情况下要求缴纳保证金，可能违反了诚实信用原则。投标方有权基于公平、公正的原则，要求业主方退还费用。
二、保证金性质与退还条件
保证金性质：
- 保证金通常是为了确保投标方在投标过程中遵守规定，并在中标后履行合同义务而缴纳的。若合同未成立或未生效，保证金的目的无法实现，投标方有权要求退还。
退还条件：
- 若双方未就保证金的退还条件进行明确约定，根据法律规定和公平原则，投标方在合同未成立或未生效的情况下，有权要求业主方退还保证金。
- 若双方有约定，但约定违反法律、行政法规的强制性规定或违背公序良俗，该约定无效，投标方仍可要求退还。
三、实际操作与证据收集
与业主方协商：
- 投标方应首先与业主方进行协商，明确表达退还保证金的意愿，并说明理由。协商过程中，注意保留书面沟通记录或录音等证据。
收集证据：
- 投标方应收集与投标、缴纳保证金相关的所有证据，包括投标文件、缴纳凭证、与业主方的沟通记录等。这些证据在后续可能发生的纠纷中将起到关键作用。
法律途径：
- 若协商无果，投标方可以考虑通过法律途径解决纠纷。可以向法院提起诉讼或申请仲裁，要求业主方退还保证金及可能产生的利息或损失。
四、特殊情况与风险提示
特殊情况：
- 若投标方在投标过程中存在过错或违约行为，导致合同无法成立或生效，业主方可能有权拒绝退还保证金。但这种情况需要具体分析，且业主方需承担举证责任。
风险提示：
- 投标方在参与投标前，应仔细审查项目手续是否齐全、合同条款是否明确。避免在手续不全或合同条款不明确的情况下盲目缴纳保证金。
- 若已缴纳保证金且合同未成立或未生效，投标方应及时与业主方沟通并采取措施保护自己的权益。
建议：投标方在遇到此类情况时，应首先与业主方进行友好协商，明确表达退还保证金的意愿。若协商无果，可考虑通过法律途径解决纠纷。同时，投标方应加强风险意识，在参与投标前仔细审查项目手续和合同条款，避免不必要的损失。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。