Hệ đếm thường dùng là hệ đếm cơ số 10, nếu 10x = y thì ta có log10y = x,
thế nhưng trong lí thuyết thông tin, các loại máy tính lớn nhỏ đều dùng các số ở hệ đếm cơ số hai.
ở Trung Quốc thời cổ đại, người ta đã dùng đài lửa (phong hoả đài) để làm công cụ truyền tin. Khi đốt lửa ở phong hoả đài là báo hiệu có kẻ địch xâm phạm. Nếu không có khói lửa là địch chưa đến. Đài lửa chỉ truyền đi hai loại tình huống “có” hoặc “không có”. Đó là cách thông tin đơn giản người ta lấy đó làm đơn vị truyền tin và được gọi là “1 bit”. Nếu dùng chữ số để mô tả ta có thể viết 0 (là không có khói) và 1 (có khói) là chỉ hai tình huống thông tin, theo định nghĩa công nghệ thông tin log22 = 1.
Giả thiết đài khói có hai ống khói: ống A để chỉ tình hình địch: có kẻ địch xâm phạm (1) hoặc kẻ địch chưa xâm phạm (0); ống B để chỉ tình hình ta: (1) cần tăng cường bố phòng, (0) chưa cần tăng cường bố phòng. Theo đó ta có bốn loại tình huống:
(0 | 0) | Kẻ địch chưa đến không cần bố phòng. |
(0 | 1) | Kẻ địch chưa đến, cần tăng cường bố phòng. |
(1 | 0) | Kẻ địch xâm phạm, chưa có bố phòng. |
(1 | 1) | Kẻ địch xâm phạm, cần tăng cường bố phòng. |
Như vậy chúng ta đã thu nhận được lượng thông tin lớn hơn, hàm lượng thông tin là log24 = 2 bit.
Chúng ta cũng dễ tưởng tượng thấy nếu đài có ba ống khói thì ta có thể truyền đi 8 tình huống thông tin (0, 0, 0); (0, 0, 1); (0, 1, 0); (0,
1, 1); (1, 0, 0); (1, 0, 1); (1, 1, 0); (1, 1, 1) và hàm lượng thông tin là log28 = 3 bit.
Các tình huống thông tin phức tạp khác đều có thể chế biến từ cách truyền tin đơn giản như trên. Chính vì việc truyền tin chủ yếu chỉ có hai khả năng nên các máy tính thu nhận thông tin trên các số theo hệ đếm cơ số hai và thu được lượng thông tin cơ sở là 1. Và nếu khi
thu nhận thông tin y = 2x thì khi biến đổi sẽ dùng log2 y = x máy tính sẽ phản ánh chính xác lượng thông tin thực.
Tìm hiểu thêm :
Tam giác Pascal là gì?
Từ khoá: Lượng thông tin.