结论：在交通事故对方要求您和保险公司去法院调解的情况下，您原则上不可以完全拒绝不去，但在特定条件下可以委托他人代为参加或与法院沟通调整参与方式。以下从不同角度为您详细分析：

1. 从法律程序角度

法院组织的调解是诉讼程序中的一个重要环节，其目的是为了促进双方当事人通过协商达成和解，以更高效、和谐地解决纠纷。根据《中华人民共和国民事诉讼法》等相关法律规定，当事人有义务配合法院的诉讼活动，包括参加调解。如果您无正当理由拒不参加法院组织的调解，法院可能会视情况继续推进诉讼程序，进行缺席审理并作出判决。这可能使您失去在调解过程中争取更有利解决方案的机会，而且一旦判决结果对您不利，您需要承担相应的法律后果。所以，从严格遵循法律程序的角度，您不宜完全拒绝参加调解。

2. 从实际情况角度

• 委托他人代为参加：如果您确实因为特殊原因（如突发疾病、不可抗力的自然灾害等）无法亲自参加调解，您可以向法院提交书面申请，说明无法到场的原因，并委托合适的代理人（如您的近亲属、律师等）代为参加调解。代理人需要在授权范围内行使您的权利、履行您的义务，其参加调解的行为和结果对您具有法律效力。
• 与法院沟通调整参与方式：如果您虽然无法亲自到法院现场参加调解，但具备通过其他方式参与调解的条件（如视频会议、电话沟通等），您可以及时与法院沟通，说明您的情况，申请采用这些便捷的方式参与调解。法院在综合考虑实际情况后，可能会同意您的申请，这样既不影响调解的进行，又能解决您无法到场的问题。

3. 从保险理赔角度

您购买了保险，在交通事故中，保险公司有义务在保险责任范围内承担相应的赔偿责任。在法院调解过程中，保险公司会根据保险合同的约定和事故的实际情况，与对方协商赔偿金额和方式等事项。您作为事故的责任方之一，参加调解有助于您了解保险理赔的进展和情况，确保保险公司的理赔行为符合您的利益和预期。如果您不参加调解，可能会在一定程度上影响您对保险理赔情况的掌控，甚至可能导致一些不必要的纠纷和误解。

建议：您尽量克服困难参加法院组织的调解。如果确实无法参加，按照上述方式委托他人代为参加或与法院沟通调整参与方式。在调解过程中，您要如实陈述事故经过和相关情况，积极与对方和保险公司协商，争取达成一个公平、合理的调解协议。如果您在处理这个过程中有任何疑问或需要进一步的法律帮助，随时可以向我咨询。