对于交通事故责任书，如果您认为其中的责任判定不公正或不准确，您确实可以选择不签字。但请注意，不签字并不会改变责任书本身的法律效力。责任书是交警部门根据事故现场勘查和调查情况作出的官方认定，其效力并不依赖于当事人的签字。

如果您对责任书有异议，正确的做法是在收到责任书后的规定期限内（通常是三日），向上一级公安机关交通管理部门提出书面复核申请。在复核申请中，您应详细阐述您的异议理由，并提供相关证据以支持您的观点。如果复核机关认为原责任认定存在问题，如事实不清、证据不足或程序违规等，他们可能会责令原办案单位重新调查、认定。

因此，虽然您可以选择不签字，但更重要的是通过合法途径表达您的异议，并寻求公正的复核结果。如果您在这个过程中有任何疑问或需要帮助，请随时向我咨询。