您应当立即拒绝并要求对方取走赃物，若对方已离开或无法联系，需第一时间向公安机关报案并说明情况。以下是具体分析及建议：
一、法律责任角度：避免构成掩饰、隐瞒犯罪所得罪
根据《刑法》第三百一十二条，明知是犯罪所得及其产生的收益而予以窝藏、转移、收购、代为销售或以其他方法掩饰、隐瞒的，构成掩饰、隐瞒犯罪所得罪。若您明知是赃物仍允许存放，可能面临三年以下有期徒刑、拘役或管制，并处或单处罚金；情节严重的（如涉案金额巨大、多次实施等），可能面临三年以上七年以下有期徒刑。
关键点：
- “明知”的认定：若对方明确告知是赃物，或您通过物品特征（如大量现金无合法来源、明显被盗痕迹等）可推断为赃物，即可能被认定为“明知”。
- “窝藏”行为：即使您未主动索要或使用赃物，仅提供存放场所也可能构成窝藏。
二、应对措施：分情况处理
对方在场时：
- 立即拒绝：明确告知对方“我不能帮你存放赃物，请立即取走”。
- 要求对方说明来源：若对方含糊其辞或拒绝说明，更应警惕，坚持要求其取走。
- 保留证据：若可能，录音或录像记录对话，证明您已明确拒绝。
对方已离开或无法联系时：
- 立即报案：向公安机关说明情况，包括物品特征、对方身份（如知晓）、存放时间等。
- 配合调查：如实提供线索，协助公安机关追缴赃物。
- 避免触碰物品：不要移动或使用赃物，防止被误认为共同犯罪。
已被动存放一段时间后发现：
- 主动报案：即使未第一时间发现，仍需尽快报案，说明不知情或发现后立即采取的措施。
- 证明无主观故意：提供证据（如聊天记录、证人证言）证明您对赃物不知情，或发现后积极配合处理。
三、风险提示：不作为的后果
若您发现是赃物后未报案或继续存放，可能被认定为“事后明知”，仍可能构成犯罪。即使未被追究刑事责任，也可能因协助转移赃物面临行政处罚（如罚款、拘留）。
四、建议总结
- 保持警惕：对来源不明的物品（尤其是贵重物品、大量现金等）拒绝存放。
- 及时报案：发现赃物后第一时间联系公安机关，避免被动卷入犯罪。
- 咨询专业意见：若已涉及案件，可向我进一步咨询具体应对策略（如如何配合调查、如何证明无罪等）。
请务必重视此事，法律对赃物处理有严格规定，及时、正确的应对是避免风险的关键。