结论：若别人误扫5000元给你，你不退还，可能面临民事上的不当得利返还责任，甚至可能涉及刑事上的侵占罪（视具体情况而定）。
详细分析：
民事责任角度：
- 不当得利：根据《中华人民共和国民法典》的相关规定，没有合法根据，取得不当利益，造成他人损失的，应当将取得的不当利益返还受损失的人。在此情况下，你收到的5000元属于不当得利，因为这笔钱并非基于合法的交易或赠与而获得。因此，对方有权要求你返还这笔钱。
- 返还义务：如果你拒绝返还，对方可以通过法律途径（如起诉）要求你履行返还义务。法院在查明事实后，会判决你返还这笔不当得利。
刑事责任角度（视具体情况而定）：
- 侵占罪：虽然一般情况下，误扫钱款不直接构成刑事犯罪，但如果你明知这笔钱是误扫给你的，却故意隐匿、拒不交出，且数额较大（如5000元可能达到某些地区的刑事立案标准），则可能构成侵占罪。侵占罪是指以非法占有为目的，将他人的交给自己保管的财物、遗忘物或者埋藏物非法占为己有，数额较大，拒不交还的行为。
- 刑事责任：如果构成侵占罪，你将面临刑事处罚，包括有期徒刑、拘役或罚金等。
建议：
- 主动返还：建议你主动与对方联系，说明情况，并尽快将5000元返还给对方。这样不仅可以避免法律纠纷，还能维护你的良好声誉。
- 保留证据：在返还过程中，建议你保留好相关证据（如转账记录、聊天记录等），以证明你已经履行了返还义务。
- 咨询专业意见：如果你对返还过程或法律责任有疑问，可以向我咨询，我会根据你的具体情况提供更详细的法律建议。
后续行动：
- 如果你已经决定返还这笔钱，但对方拒绝接收或无法联系到对方，你可以考虑将这笔钱交给公安机关或相关机构处理。
- 如果你拒绝返还，且对方通过法律途径起诉你，你需要积极应诉，并准备好相关证据来支持你的立场。但请注意，从法律角度来看，你拒绝返还的理由可能并不充分。