Информация, ее представление и измерение. Количество информации как мера уменьшения неопределенности знаний

Лекция 2. Информация, ее представление и измерение. Количество информации как мера уменьшения неопределенности знаний

Рассматриваются основные понятия информатики – информация, сообщение, измерение сообщений и информации, виды и свойства информации, меры количества информации (по Хартли и Шеннону), их свойства и значение, вопросы связанные с информационными системами и управлением в системе. 

Понятие информации

Слово "информация" обычно используют для обозначения содержания разнообразных сообщений в широком смысле этого слова. Так, сообщением могут быть отчет о работе, личное письмо, файл на магнитном диске, умозаключение, электромагнитный и звуковой сигналы и т.д. Поскольку разные сообщения могут иметь близкое или одинаковое содержание, можно попытаться отделить содержание от сообщения и рассматривать его как независимый предмет (объект) исследования. Такой, подход, естественно, предполагает определение объекта – информации, установление свойств и способов их изучения и описания.

Любое определение, как правило, содержит указание той совокупности объектов, к которой данный объект может быть по тем или иным признакам отнесен. Например, стол – это предмет мебели, человек – млекопитающее, масса – физическая величина, цинк – химический элемент, государство – объединение людей и т.д. Подобного определения информации пока нет и, возможно, его нельзя построить. По этой причине мы используем понятие "информация".

Понятия отличаются от определений тем, что смысл, который в них вкладывается, может изменяться в зависимости от того, где это понятие используется. Так, в бытовом смысле под информацией понимают сведения, получаемые от окружающей природы и общества с помощью органов чувств. В математическом смысле информация включает в себя сведения, которые создаются с помощью умозаключений. В биологическом смысле к информации относятся также сведения о строении человека, содержащиеся в генетическом коде.

Информатика как наука, в отличие от других наук, формирует понятие, которое объединяет различные его вариации с помощью перечисления допустимых действий с информацией – информационных процессов. Эти действия, конечно, отражают определенные свойства информации, хотя и не требуют их конкретизации. К ним относятся создание, передача, хранение и обработка (преобразование, использование). Эти действия обычно имеют место в разных науках при большом разнообразии способов их выполнения, которые определяются спецификой науки. Информатика занимается изучением законов, по которым информационные процессы должны реализоваться с помощью универсального исполнителя – компьютера.

Понятие "знания" обычно используют для обозначения информации, которую человек получает из различных источников (с помощью разнообразных сообщений), фиксирует тем или иным способом и может использовать при решении различных задач. Знания, как информация, специфичны благодаря тому, как реализуются указанные информационные процессы. Так, передача знаний (восприятие и воспроизведение) производится с помощью органов чувств при возможном использовании разнообразных технических средств (каналов передачи информации). Для хранения знаний используется человеческая память (кратковременная или долговременная) или внешние носители информации (бумага, магнитные и оптические диски).

Использование знаний предполагает их классификацию на декларативные и процедурные. К первой группе относятся знания об определенных свойствах объектов, тех или иных событиях, явлениях. Ко второй – знания о действиях, необходимых для достижения какой-либо цели.

И, наконец, создание знаний – наименее изученный информационный процесс, который часто называют творчеством.

Знания могут быть неполными по тем или иным причинам. В этом случае говорят об их неопределенности. Например, знание букв алфавита не означает, что мы можем воспроизвести все возможные осмысленные слова или их сочетания, знание среднемесячной температуры не означает возможности предсказания температуры на конкретный день и т.д. Глубина нашего незнания может быть использована для оценки количества информации (знаний), содержащегося в том или ином сообщении. Мы говорим, что сообщение содержит много информации, если при его получении неопределенность наших знаний уменьшается, причем информации тем больше, чем меньшая неопределенность остается. Если же неопределенность наших знаний не изменяется, мы говорим, что сообщение не содержит информации. Такой подход при всей рациональности не позволяет дать объективную оценку количества информации (даже в "двухбалльной" шкале: много, мало), поскольку одно и то же сообщение для разных людей с разным запасом знаний содержит разное количество информации.

...