Информация объемом в 1 бит

Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. д.). Получение новой информации приводит к расширению знаний или, как иногда говорят, к уменьшению неопределенности знания. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Например, после сдачи зачета или выполнения контрольной работы вы мучаетесь неопределенностью, вы не знаете, какую оценку получили. Наконец, учитель объявляет результаты, и вы получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из четырех информационных сообщений: «2», «3», «4» или «5».

Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности вашего знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности вашего знания в четыре раза, так как получено одно из четырех возможных информационных сообщений.

Ясно, что чем более неопределенна первоначальная ситуация (чем большее количество информационных сообщений возможно), тем больше мы получим новой информации при получении информационного сообщения (тем в большее количество раз уменьшится неопределенность знания).

Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.

Рассмотренный выше подход к информации как мере уменьшения неопределенности знания позволяет количественно измерять информацию. Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:

N = 2 i (1.1)

Бит. Для количественного выражения любой величины необходимо сначала определить единицу измерения. Так, для измерения длины в качестве единицы выбран метр, для измерения массы — килограмм и т. д. Аналогично, для определения количества информации необходимо ввести единицу измерения.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом.

Если вернуться к рассмотренному выше получению информационного сообщения о результатах зачета, то здесь неопределенность как раз уменьшается в два раза и, следовательно, количество информации, которое несет сообщение, равно 1 биту.

Производные единицы измерения количества информации. Минимальной единицей измерения количества информации является бит, а следующей по величине единицей — байт, причем:

1 байт = 8 битов = 2 3 битов.

В информатике система образования кратных единиц измерения несколько отличается от принятых в большинстве наук. Традиционные метрические системы единиц, например Международная система единиц СИ, в качестве множителей кратных единиц используют коэффициент 10 n , где n = 3, 6, 9 и т. д., что соответствует десятичным приставкам «Кило» (10 3 ), «Мега» (10 6 ), «Гига» (10 9 ) и т. д.

В компьютере информация кодируется с помощью двоичной знаковой системы, и поэтому в кратных единицах измерения количества информации используется коэффициент 2 n

Так, кратные байту единицы измерения количества информации вводятся следующим образом:

1 килобайт (Кбайт) = 2 10 байт = 1024 байт;

1 мегабайт (Мбайт) = 2 10 Кбайт = 1024 Кбайт;

1 гигабайт (Гбайт) = 2 10 Мбайт = 1024 Мбайт.

    1. Приведите примеры информационных сообщений, которые приводят к уменьшению неопределенности знания.
    2. Приведите примеры информационных сообщений, которые несут 1 бит информации.

Определение количества информационных сообщений.По формуле (1.1) можно легко определить количество возможных информационных сообщений, если известно количество информации. Например, на экзамене вы берете экзаменационный билет, и учитель сообщает, что зрительное информационное сообщение о его номере несет 5 битов информации. Если вы хотите определить количество экзаменационных билетов, то достаточно определить количество возможных информационных сообщений об их номерах по формуле (1.1):

Таким образом, количество экзаменационных билетов равно 32.

Определение количества информации. Наоборот, если известно возможное количество информационных сообщений N, то для определения количества информации, которое несет сообщение, необходимо решить уравнение относительно I.

Представьте себе, что вы управляете движением робота и можете задавать направление его движения с помощью информационных сообщений: «север», «северо-восток», «восток», «юго-восток», «юг», «юго-запад», «запад» и «северо-запад» (рис. 1.11). Какое количество информации будет получать робот после каждого сообщения?

Рис. 1.4. Управление роботом с использованием информационных сообщений

Всего возможных информационных сообщений 8, поэтому формула (1.1) принимает вид уравнения относительно I:

Читайте также:  Как foxit reader перевести в word

Разложим стоящее в левой части уравнения число 8 на сомножители и представим его в степенной форме:

8 = 2 × 2 × 2 = 2 3 .

Равенство левой и правой частей уравнения справедливо, если равны показатели степени числа 2. Таким образом, I = 3 бита, т. е. количество информации, которое несет роботу каждое информационное сообщение, равно 3 битам.

Алфавитный подход к определению количества информации

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Информационная емкость знака. Представим себе, что необходимо передать информационное сообщение по каналу передачи информации от отправителя к получателю. Пусть сообщение кодируется с помощью знаковой системы, алфавит которой состоит из N знаков <1, . N>. В простейшем случае, когда длина кода сообщения составляет один знак, отправитель может послать одно из N возможных сообщений «1», «2», . «N», которое будет нести количество информации I (рис. 1.5).

Рис. 1.5. Передача информации

Формула (1.1) связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение. Тогда в рассматриваемой ситуации N — это количество знаков в алфавите знаковой системы, а I — количество информации, которое несет каждый знак:

С помощью этой формулы можно, например, определить количество информации, которое несет знак в двоичной знаковой системе:

Таким образом, в двоичной знаковой системе знак несет 1 бит информации. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название ОТ английского словосочетания «Binary digiT» — «двоичная цифра».

Информационная емкость знака двоичной знаковой системы составляет 1 бит.

Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак. В качестве примера определим количество информации, которое несет буква русского алфавита. В русский алфавит входят 33 буквы, однако на практике часто для передачи сообщений используются только 32 буквы (исключается буква «ё»).

С помощью формулы (1.1) определим количество информации, которое несет буква русского алфавита:

Таким образом, буква русского алфавита несет 5 битов информации (при алфавитном подходе к измерению количества информации).

Количество информации, которое несет знак, зависит от вероятности его получения. Если получатель заранее точно знает, какой знак придет, то полученное количество информации будет равно 0. Наоборот, чем менее вероятно получение знака, тем больше его информационная емкость.

В русской письменной речи частота использования букв в тексте различна, так в среднем на 1000 знаков осмысленного текста приходится 200 букв «а» и в сто раз меньшее количество буквы «ф» (всего 2). Таким образом, с точки зрения теории информации, информационная емкость знаков русского алфавита различна (у буквы «а» она наименьшая, а у буквы «ф» — наибольшая).

Количество информации в сообщении. Сообщение состоит из последовательности знаков, каждый из которых несет определенное количество информации.

Если знаки несут одинаковое количество информации, то количество информации Ic в сообщении можно подсчитать, умножив количество информации Iз, которое несет один знак, на длину кода (количество знаков в сообщении) К:

Так, каждая цифра двоичного компьютерного кода несет информацию в 1 бит. Следовательно, две цифры несут информацию в 2 бита, три цифры — в 3 бита и т. д. Количество информации в битах равно количеству цифр двоичного компьютерного кода (табл. 1.1).

Прописная кириллическая буква «М»
в кодировке ISO 8859−5 кодируется 8 битами 10111100 <displaystyle 10111100>

Бит (русское обозначение: бит; международное: bit; от англ. binary digit — двоичное число; также игра слов: англ. bit — кусочек, частица) — единица измерения количества информации. 1 бит информации — символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль).

В Российской Федерации обозначения бита, а также правила его применения и написания установлены «Положением о единицах величин, допускаемых к применению». В соответствии с данным положением бит относится к числу внесистемных единиц величин с областью применения «информационные технологии, связь» и неограниченным сроком действия [1] . Ранее обозначения бита устанавливались также в ГОСТ 8.417−2002 [2] . Для образования кратных единиц применяется с приставками СИ и с двоичными приставками.

Содержание

История [ править | править код ]

  • В 1703 году в работе «Объяснение двоичной арифметики» [3]Лейбниц пишет, что двоичная система счисления была описана китайским королём (императором) и философом по имени Фу Си, который жил более, чем за 4000 лет до Лейбница. Краткого современного англосаксонского [прояснить] названия китайский Liangyi (инь-ян («0»-«1»), китайский двоичный разряд, китайский бит) в то время пока ещё не имел. Китайский двубит — «сы-сян», образующий четыре диграммы, и китайский трибит — «ба-гуа», образующий восемь преднебесных и посленебесных триграмм, в современной англосаксонской [прояснить] терминологии собственных названий до сих пор не имеют.
  • В 1948 году Клод Шеннон впервые использовал слово «bit» для обозначения наименьшей единицы количества информации в статье «Математическая теория связи». Происхождение этого слова он приписывал Джону Тьюки, использовавшему сокращение «bit» вместо слов «binary digit» в заметке лаборатории Белла от 9 января 1947 года.
Читайте также:  Гугл переводчик с русского на английский фото

Определения и свойства [ править | править код ]

В зависимости от области применения (математика, электроника, цифровая техника, вычислительная техника, теория информации и др.), бит может определяться следующими способами:

1.1. Бит — это один разряд двоичного кода (двоичная цифра). Может принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0», «включено» или «выключено», и т. п.

1.2. Соответствует одному числовому разряду в двоичной системе счисления, принимающему значение «0» или «1» («ложь» или «истина») [4] .

2.1. Одному биту (одному двоичному разряду) соответствует один двоичный триггер (триггер, имеющий два взаимоисключающих возможных устойчивых состояния) или один разряд двоичной памяти.

Для перехода от количества возможных состояний (возможных значений) к количеству бит можно воспользоваться формулой

log 2 ⁡ ( m <displaystyle log _<2>(m> [возможных состояний] ) <displaystyle )> = n <displaystyle =n> [битов].

Следовательно, для одного двоичного разряда (триггера)

Для перехода от количества битов к количеству возможных состояний (возможных значений) можно воспользоваться формулой

I = log 2 ⁡ N = n log 2 ⁡ m , <displaystyle I=log _<2>N=nlog _<2>m,>

I <displaystyle I> — количество информации, бит; N = m n <displaystyle N=m^> — возможное количество различных сообщений (количество возможных состояний n-разрядного регистра), шт; m <displaystyle m> — количество букв в алфавите (количество возможных состояний одного разряда (триггера) регистра, в двоичной системе равно 2 («0» и «1»)), шт; n <displaystyle n> — количество букв в сообщении (количество разрядов (триггеров) в регистре), шт.

Применяется для измерения объёмов запоминающих устройств и объёмов цифровых данных.

3.1. Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода; см. информационная энтропия. Это тождественно количеству информации в ответе на вопрос, допускающий ответ «да» или «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).

3.2. Один бит равен количеству информации, получаемой в результате осуществления одного из двух равновероятных событий [5] .

3.3. Бит — двоичный логарифм вероятности равновероятных событий или сумма произведений вероятности на двоичный логарифм вероятности при равновероятных событиях; см. информационная энтропия.

Применяется для измерения информационной энтропии. Отличается от бита для измерения объёмов запоминающих устройств и объёмов цифровых данных, так как большой по объёму массив данных может иметь очень малую информационную энтропию, то есть энтропийно может быть почти пустым.

Физические реализации [ править | править код ]

В цифровой технике бит (один двоичный разряд) реализуется триггером или одним двоичным разрядом памяти.

Возможны две физические (в частности электронные) реализации бита (одного двоичного разряда):

  1. однофазный («однопроводный») бит (двоичный разряд). Используется один выход двоичного триггера. Нулевой уровень обозначает либо сигнал логического «0», либо неисправность схемы. Высокий уровень обозначает либо сигнал логической «1», либо исправность схемы. Дешевле двухфазной реализации, но менее надёжен;
  2. двухфазный (парафазный, «двухпроводный») бит (двоичный разряд). Используются оба выхода двоичного триггера. При исправной схеме один из двух уровней высокий, другой — низкий. Неисправность схемы опознаётся либо высоким уровнем на обоих проводах (на обеих фазах), либо низким уровнем на обоих проводах (на обеих фазах). Дороже однофазной реализации, но более надёжен.

В вычислительной технике и сетях передачи данных значения «0» и «1» обычно передаются различными уровнями либо напряжения, либо тока. Например, в микросхемах на основе транзисторно-транзисторной логики значение «0» представляется напряжением в диапазоне от +0 до +0,8 В, а значение «1» — напряжением в диапазоне от +2,4 до +5,0 В.

Обозначения [ править | править код ]

В вычислительной технике, особенно в документации и стандартах, слово «бит» часто применяется в значении «двоичный разряд». Например: старший бит — старший двоичный разряд байта или слова.

Использование прописной буквы «Б» для обозначения байта соответствует требованиям ГОСТ и позволяет избежать путаницы между сокращениями от «байт» и «бит». Однако, следует учитывать, что в стандарте нет сокращения для «бит», поэтому использование записи «Гб» как синонима для «Гбит» неверно.

В международном стандарте МЭК (IEC) 60027−2 2005 года [6] для применения в электротехнической и электронной областях рекомендуются обозначения:

  • «bit» для обозначения бита;
  • «o» или «B» для обозначения октета или байта. «о» — единственное указанное обозначение во французском языке.
Читайте также:  Запуск игры невозможен 80010087

Аналогом бита в квантовых компьютерах является кубит (q-бит; «q» от англ. quantum , квант).

Двоичные логарифмы других оснований [ править | править код ]

Замена логарифмируемого числа с 2 на e, 3, 4, 8, 10, 16, 27 и др. приводит соответственно к битовым (двоичным) эквивалентам редко употребляемых единиц нат, трит, тетрит (tetrittetral digit) (двубит), октит (octitoctal digit) (трибит), Харт (дит (ditdecimal digit), бан, децит (decitdecimal digit)), ниббл (гексадецит, четырёхбит), гептакозаит и др., равных соответственно:

1 nat = log 2 ⁡ e = 1 , 44. <displaystyle 1 < ext>=log _<2>e=1,44. > бита, 1 trit = log 2 ⁡ 3 = 1 , 58. <displaystyle 1 < ext
>=log _<2>3=1,58. > бита, 1 двубит = 1 tetrit = log 2 ⁡ 4 = 2 <displaystyle 1 < ext>=log _<2>4=2> бита, 1 трибит = 1 octit = log 2 ⁡ 8 = 3 <displaystyle 1 < ext>=log _<2>8=3> бита, 1 hart ( dit, ban, decit ) = log 2 ⁡ 10 = 3 , 32. <displaystyle 1 < ext> (< ext>)=log _<2>10=3,32. > бита, 1 четырёхбит = 1 nibble ( hexadecit ) = log 2 ⁡ 16 = 4 <displaystyle 1 < ext> (< ext>)=log _<2>16=4> бита, 1 heptacosait = log 2 ⁡ 27 = 4 , 75. <displaystyle 1 < ext>=log _<2>27=4,75. > бита.

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации — 1 бит.

1 бит ( bit — сокращение от англ. binary digit — двоичное число) — единица измерения информационной емкости и количества информации, а также и еще одной величины — информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: « или «.

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации — количество информации, получаемое в результате подбрасывания монеты — «орел» или «решка».

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I , вероятность обозначается символом P . Напомним, что суммарная вероятность полной группы событий равна 1.

Копилка Рабочие программы Проекты MS Office Презентации Открытые уроки Экзаменационные билеты Элективные курсы Бесплатный soft Инструкции по ТБ
Оцените статью
Adblock detector