结论：不可以完全不理对方，但需根据具体情况采取合理措施应对。以下从法律角度详细分析：
一、关于对方语言攻击的法律定性
对方使用侮辱性语言攻击您，可能构成对人格权的侵害。根据《民法典》第一千零二十四条，民事主体享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害他人名誉权。若对方行为达到“公然贬损人格”的程度（如通过公开渠道辱骂），您有权要求其停止侵害、赔礼道歉，甚至主张精神损害赔偿。
建议：
- 保留证据：截图、录音或录像对方辱骂内容，作为后续维权依据；
- 初步沟通：通过书面形式（如短信、邮件）要求对方停止侵权，避免矛盾升级；
- 报警处理：若对方持续骚扰，可向公安机关报案，警方可能依据《治安管理处罚法》第四十二条对对方进行警告、罚款或拘留。
二、关于对方“吓唬报警”的应对
对方声称报警，本质是威胁行为。若您确实存在退错货的过失（如误将他人货物退回），需区分两种情况：
- 若您无主观恶意：退错货属于民事纠纷，警方通常不会立案，但可能建议双方协商或通过诉讼解决。此时您无需过度恐慌，但应积极配合处理退换货问题；
- 若您存在故意侵占：如明知货物非己所有仍拒绝归还，可能涉嫌侵占罪（需达到数额较大标准）。此时对方报警可能引发刑事风险，您需立即归还货物并协商赔偿。
建议：
- 核实货物归属：确认是否因自身疏忽导致退错，若属实，主动联系对方协商退换；
- 避免激化矛盾：对方威胁报警时，保持冷静，避免言语冲突，可回复“我理解您的诉求，我们可以通过合法途径解决”；
- 咨询律师：若对方行为持续升级或您对法律定性存疑，可向我进一步咨询具体应对方案。
三、您是否可以“不理对方”？
不完全可行。若对方仅偶尔辱骂且未实际报警，您可选择暂时不回应，但需注意：
- 沉默可能被对方视为“默认过错”，导致其变本加厉；
- 若对方持续侵权（如长期辱骂、散布谣言），您可能因未及时维权而丧失主张权利的最佳时机。
更优策略：
- 主动沟通：通过书面形式说明退错货的原因，提出解决方案（如承担运费、补偿损失）；
- 法律威慑：明确告知对方“您的辱骂行为已涉嫌违法，我将保留追究权利”，迫使对方回归理性协商；
- 第三方介入：若协商无果，可申请电商平台介入、向消费者协会投诉或直接起诉。
四、总结与行动建议
- 优先解决退错货问题：主动联系对方或平台，尽快完成货物退换，消除矛盾根源；
- 对语言攻击零容忍：保留证据并明确警告对方停止侵权，必要时通过法律途径维权；
- 理性应对报警威胁：核实自身行为性质，避免因恐慌而做出不当让步或激化矛盾。
最后提醒：法律是维护权益的工具，而非对抗的武器。在处理此类纠纷时，保持冷静、依法行事，既能有效解决问题，也能避免自身陷入被动。如有进一步疑问，可直接向我咨询具体操作方案。