结论概述：在行贿案件中，若行贿人供给受贿人1万元，但受贿人3天后已退还，且没有证据证明这一事实，这确实会给案件的认定带来一定困难。不过，这并不意味着无法追究相关责任，具体还需根据案件的其他证据和情况来综合判断。以下是从不同角度对此问题的详细分析：
证据的重要性与缺失的影响：
- 在刑事案件中，证据是认定犯罪事实的关键。若没有证据证明受贿人确实收到了这1万元，或者虽然收到但已退还，那么从法律程序上讲，就难以直接认定受贿人的受贿行为。
- 然而，证据的缺失并不意味着犯罪行为没有发生。如果其他证据（如行贿人的陈述、转账记录、监控录像等）能够间接证明行贿和受贿的事实，或者形成完整的证据链，那么仍然有可能对受贿人进行定罪。
行贿与受贿的构成要件：
- 行贿罪的构成要件包括：为谋取不正当利益，给予国家工作人员以财物。若行贿人确实给予了受贿人财物，且目的是为了谋取不正当利益，那么行贿行为即构成。
- 受贿罪的构成要件包括：国家工作人员利用职务上的便利，索取他人财物，或者非法收受他人财物，为他人谋取利益。若受贿人确实收受了行贿人的财物，并为其谋取了利益，那么受贿行为即构成。但在此案例中，由于受贿人已退还财物，且没有证据证明，这可能会影响受贿罪的认定。
退还财物对案件的影响：
- 如果受贿人在收到财物后迅速退还，且没有为行贿人谋取不正当利益，那么这通常会被视为受贿未遂或情节显著轻微，可能不构成犯罪或会受到较轻的处罚。
- 但在此案例中，由于缺乏证据证明受贿人已退还财物，这一情节可能无法被法院采纳。因此，案件的处理将更多地依赖于其他证据和情况。
可能的法律后果与建议：
- 若行贿人和受贿人的行为均构成犯罪，且证据充分，那么他们将面临刑事处罚，包括有期徒刑、罚金等。
- 鉴于当前证据缺失的情况，建议行贿人和受贿人（如果确实存在退还行为）积极收集相关证据，如转账记录、退还凭证、证人证言等，以证明自己的清白或减轻责任。
- 同时，他们也应咨询专业律师，了解自己的法律权利和义务，以及可能面临的法律后果。律师可以根据案件的具体情况，为他们提供有针对性的法律建议和辩护策略。
进一步思考：在处理此类案件时，除了关注证据的收集和认定外，还应考虑案件的社会影响和法律效果。对于行贿和受贿行为，法律应予以严厉打击，以维护社会的公平和正义。同时，也应注重保护当事人的合法权益，确保案件的公正处理。如果您或您身边的人涉及此类问题，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。