结论：不可以直接拒绝赔偿，但可通过合法途径降低自身损失。以下是具体分析：

1. 交通事故赔偿责任的法律依据
   根据《道路交通安全法》第76条，交通事故赔偿首先由保险公司在交强险范围内承担（即使对方无保险，交强险的赔偿义务仍存在，但实践中若对方未投保，需通过其他途径解决）。超出交强险部分，按责任比例分担。您作为主次责任中的一方（假设您次责），需承担部分赔偿责任，直接拒绝赔偿可能面临对方起诉，法院会强制执行。

2. 对方无保险的应对方式

   • 要求对方自行赔偿：若对方有财产（如房产、车辆、存款等），可要求其按责任比例直接支付赔偿款。
     
   • 申请道路交通事故社会救助基金：若对方无力赔偿且您急需治疗，可申请该基金垫付部分费用（需符合条件，如抢救费用超过交强险限额）。
     
   • 通过诉讼追偿：若对方拒不赔偿，您可起诉至法院，申请强制执行其财产（如冻结银行账户、查封车辆等）。

3. 您方的权利与注意事项

   • 保留证据：包括事故认定书、医疗记录、费用单据等，证明对方责任及您的损失。
     
   • 反诉或抗辩：若对方也存在过错（如未保护现场、逃逸等），可在诉讼中主张减轻自身责任。
     
   • 警惕“拒赔”风险：直接拒绝赔偿可能被对方反诉，导致您需支付额外诉讼费或承担更重责任。

建议行动步骤：

1. 与对方协商赔偿方案，明确责任比例和支付方式；
   
2. 若协商无果，委托律师起草《律师函》催告赔偿；
   
3. 仍不履行则向法院起诉，申请财产保全以确保执行。
   

如有进一步细节（如责任比例、损失金额等），可向我补充说明，我会为您制定更具体的应对策略。