责任认定书复议原则上不可以不去，但在特定情况下存在例外。以下是对此问题的详细分析：

一、责任认定书复议的必要性

责任认定书，通常指的是交通事故责任认定书或其他类似的责任划分文件，它对于确定事故责任、后续赔偿等具有至关重要的法律意义。当一方或双方对责任认定书的内容存在异议时，法律赋予了他们申请复议的权利。复议的目的是为了确保责任认定的公正性和准确性，保护当事人的合法权益。

二、不去复议的可能后果

1. 丧失救济途径：如果当事人对责任认定书有异议但选择不去复议，那么他们可能就丧失了通过行政复议这一途径来纠正错误或不当责任认定的机会。这可能导致后续在诉讼或赔偿过程中处于不利地位。
2. 影响赔偿结果：责任认定书往往是确定赔偿比例和金额的重要依据。如果当事人不去复议，而责任认定书存在错误或不当，那么这可能会直接影响到最终的赔偿结果，使当事人遭受不必要的经济损失。

三、不去复议的例外情况

尽管复议是保护当事人权益的重要途径，但在某些特定情况下，当事人可能选择不去复议：

1. 对责任认定无异议：如果当事人对责任认定书的内容完全认可，没有异议，那么他们自然没有必要去申请复议。
2. 已通过其他途径解决：在某些情况下，当事人可能已经通过协商、调解等其他方式解决了争议，因此不再需要申请复议。
3. 复议成本过高：复议过程可能需要投入一定的时间、精力和金钱。如果当事人认为复议的成本过高，而预期收益较低，那么他们可能会选择放弃复议。

四、法律建议

1. 仔细审查责任认定书：在收到责任认定书后，当事人应仔细审查其内容，确保对责任划分、事实认定等方面没有异议。
2. 及时咨询专业律师：如果当事人对责任认定书有异议或不确定是否应该申请复议，应及时咨询专业律师，以获取专业的法律意见和建议。
3. 权衡利弊后做出决定：在决定是否申请复议时，当事人应权衡复议的成本、预期收益以及可能的风险等因素，做出明智的决策。

如有任何关于责任认定书复议或其他法律问题的疑问，可以直接向我咨询。我将根据您的具体情况，提供专业的法律意见和建议。