劳动者在单位对仲裁裁决书不服并向中院申请撤销，且举办听证会的情况下，不可以不去参加听证会。以下是从不同角度对此问题的详细分析：

法律程序角度

1. 听证会的性质：听证会是法院在审查撤销仲裁裁决申请时，为了更全面地了解案件情况，听取双方当事人的意见而举行的。它是一个重要的法律程序环节，对于法院作出公正裁决具有重要意义。
2. 劳动者的参与义务：作为仲裁裁决的一方当事人，劳动者有义务参与听证会，就仲裁裁决的合法性、合理性以及单位申请撤销的理由进行陈述和辩论。这是劳动者维护自身合法权益的重要途径。
3. 缺席听证会的后果：如果劳动者无正当理由拒不参加听证会，法院可能会视为劳动者放弃陈述和辩论的权利，从而根据单位提供的证据和理由作出裁决。这可能导致劳动者在不知情的情况下失去维护自身权益的机会。

实际操作角度

1. 准备充分：劳动者在参加听证会前，应充分准备相关证据和材料，以支持自己的主张。这包括仲裁裁决书、相关证据材料、法律条文等。
2. 积极陈述和辩论：在听证会上，劳动者应积极陈述自己的观点和理由，对单位申请撤销的理由进行反驳和辩论。这有助于法院更全面地了解案件情况，作出公正裁决。
3. 遵守听证会纪律：劳动者在参加听证会时，应遵守听证会纪律，尊重法院和对方当事人的权利。不得扰乱听证会秩序或进行其他不当行为。

法律建议

1. 及时响应：劳动者在收到法院关于听证会的通知后，应及时响应并确认参加。如有特殊情况无法参加，应提前向法院说明并申请延期或委托他人参加。
2. 寻求法律帮助：如果劳动者对法律程序不熟悉或担心自己无法有效维护自身权益，可以寻求专业律师的帮助。律师可以提供法律咨询、代理参加听证会等服务，帮助劳动者更好地维护自身权益。

综上所述，劳动者在单位对仲裁裁决书不服并向中院申请撤销，且举办听证会的情况下，应积极参加听证会并充分准备相关证据和材料。如有任何疑问或需要法律帮助，请直接向我咨询。