若归还赃物时对方不接受，可按以下步骤处理：

1. 确认对方身份及拒绝原因
   首先需明确对方是否为赃物的合法权利人（如失主、所有权人或其合法代理人）。若对方身份存疑（如自称“中间人”但无授权文件），或拒绝理由不合理（如要求额外报酬、非法定程序接收），需谨慎处理。
   法律依据：根据《民法典》第314条，拾得遗失物应返还权利人或交有关部门；若对方非合法权利人，您无义务向其交付。

2. 通过法定程序移交赃物
   若对方身份合法但拒绝接收，建议将赃物移交至公安机关或相关主管部门（如文物局、市场监管部门等，视赃物类型而定）。移交时需留存书面凭证（如移交清单、签字确认单），以证明您已履行返还义务。
   法律依据：根据《刑法》第64条，犯罪分子违法所得应追缴或责令退赔；您作为非犯罪方，主动移交可避免涉嫌“掩饰、隐瞒犯罪所得罪”。

3. 保留证据以防纠纷
   若对方未来主张您未返还赃物，您需提供证据证明已履行返还义务。证据包括：

   • 移交时的书面凭证（如公安机关出具的《接收证据清单》）；
     
   • 沟通记录（如短信、邮件、录音等，证明您曾主动联系对方返还）；
     
   • 证人证言（如在场目击者）。
     风险提示：若未保留证据，可能面临对方恶意诉讼或行政处罚风险。

4. 特殊情形处理

   • 赃物易损毁或需专业保管：若赃物为危险品（如爆炸物）、生鲜易腐品或文物，可立即联系公安机关或专业机构处理，无需等待对方接收。
     
   • 对方涉嫌犯罪：若对方拒绝接收赃物且行为可疑（如试图销毁、转移），可向公安机关举报其涉嫌“掩饰、隐瞒犯罪所得罪”。

总结：对方拒绝接收赃物时，优先通过法定程序移交并保留证据，避免直接与对方纠缠。若涉及复杂情形（如赃物价值巨大、对方身份敏感），建议进一步向我咨询具体操作方案。