Em informática, o bit foi criado como um padrão
conveniente, para representar a diversidade presente em um
conjunto que inclui apenas duas mensagens igualmente prováveis,
que podem ser identificadas a partir de uma única pergunta do tipo
“sim ou não”. Assim, em um grupo formado por duas mensagens,
A e B, que têm as mesmas chances de ocorrência, para identificar
qualquer uma delas, escolhida ao acaso, basta uma única pergunta
do tipo “sim ou não”; em consequência, diz-se que cada uma delas
tem uma quantidade de informação igual a 1 bit. Já em um conjunto
mais variado, formado, por exemplo, por 4 mensagens
equiprováveis A, B, C, D, é possível identificar uma mensagem
escolhida ao acaso, com base em duas perguntas do tipo “sim ou
não”. Basta separar o conjunto em duas metades e identificar, com
uma pergunta, a parte em que se encontra a mensagem escolhida;
recorrendo-se a outra pergunta do mesmo tipo, será possível
descobrir exatamente a mensagem referida. Nesse caso, diz-se que
cada uma das mensagens tem 2 bits de informação. Raciocinando-se
de modo semelhante, conclui-se que, em um repertório de 8
mensagens, a quantidade de informação de cada uma delas é igual
a 3 bits; se forem 16 as mensagens equiprováveis, cada uma terá 4
bits, e assim por diante.
Embora o número n de mensagens não seja, necessariamente, igual a uma potência inteira de 2, ainda assim é possível medir a quantidade k de informação, em bits, procurando-se o número k tal que