Поиск

Полнотекстовый поиск:
Где искать:
везде
только в названии
только в тексте
Выводить:
описание
слова в тексте
только заголовок

Рекомендуем ознакомиться

'Методологическое положение'
Счет производства занимает особое место в системе национальных счетов (СНС), так как он является первым счетом в ряду текущих счетов и методология его...полностью>>
'Документ'
Специальная часть фонда оплаты труда педагогов, непосредственно осуществляющих учебный процесс (ФОТс), включает показатели, согласно которым определяю...полностью>>
'Учебно-методический комплекс'
обладать теоретическими знаниями о предмете и методе гражданско-правового регулирования общественных отношений, содержании гражданских прав, порядке ...полностью>>
'Программа дисциплины'
Различия между понятиями интеллектуальная собственность и промышленная собственность. Понятие исключительных прав. Специфика объектов интеллектуальной...полностью>>

Вероятностный подход к определению количества информации. Формула Шеннона. Цель урока

Главная > Урок
Сохрани ссылку в одной из сетей:

Вероятностный подход к определению количества информации. Формула Шеннона.

Цель урока: Сформировать у учащихся понимание вероятности, равновероятных событий и событий с различными вероятностями. Научить находить информационный объем разновероятностных событий, установить связь между алфавитным и содержательным подходом к определению количества информации.

Требования к знаниям и умениям:

Учащиеся должны знать:

какие события являются равновероятными, какие неравновероятными;

как найти вероятность события;

как найти количество информации в сообщении, что произошло одно из неравновероятных событий;

как найти количество информации в сообщении, когда возможные события имеют различные вероятности реализации.

Учащиеся должны уметь:

различать равновероятные и неравновероятные события;

находить количество информации в сообщении, что произошло одно из равновероятных событий или одно из не равновероятных событий;

находить количество возможных вариантов того или иного события, если известно количество информации в сообщении о том, что событие произошло.

Оборудование: доска, компьютер, мультимедийный проектор, карточки с заданиями для групп, карточки-памятки, справочный материал.

Ход урока

I. Организационный момент.

II. Проверка домашнего задания.

Мы с вами говорили, что основным понятием в информатике является “информация”.

Как и любую величину, информацию можно измерять и находить ее количество.

Какие способы измерения информации вы знаете? (Существует два подхода к измерению информации: алфавитный (т.е. количество информации зависит от последовательности знаков) и содержательный (т.е. количество информации зависит от ее содержания)).

Вставьте пропущенные слова:

  1. Сообщение называется …………., если в нём содержатся новые и понятные сведения.

  2. 1 бит - это количество информации, ….. неопределенность знаний в 2 раза.

  3. События, не имеющие преимущество друг перед другом, называются ………………

Ответьте на вопросы:

  1. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз? (3 бита)

  2. Чему равна информационная емкость знака генетического алфавита ?

(Ответ: Молекулы ДНК (дезоксирибонуклеиновой кислоты) состоят из четырех различных составляющих (нуклеотидов), которые образуют генетический алфавит. 4=2I I=2 бита)

  1. В доме 16 этажей. На каждом этаже по несколько квартир. Сообщение о том, что Саша живёт в квартире № 40, содержит 6 бит информации. Сколько квартир на каждом этаже? (64 квартиры, значит на каждом этаже по 4 квартиры).

  2. Найти объем информации, содержащейся в сообщении «Встреча назначена на завтра.» Ответ:

Какой способ используется в задаче №1? №2? №3?

Итак, при алфавитном подходе количество информации зависит от последовательности знаков в сообщении, а при содержательном количество информации зависит от ее содержания.

III. Постановка цели урока.

Какое сообщение содержит большее количество информации?

  1. Вася получил за контрольную работу оценку 4 (по 5-бальной системе единицы не ставят). (Отв.: 2 бит.)

  2. По информатике Вася имеет в журнале 3 пятерки, 3 четверки , 3 тройки и 3 двойки. Вася получил «5». (Отв.: 2 бит.)

  3. За контрольную работу по информатике получено 10 пятерок, 13 четверок, 5 троек и 2 двойки. Вася получил тетрадь с оценкой.

Почему задача №3 вызвала у вас затруднение? Всегда ли можно использовать формулу Хартли?

(Учащиеся могут обратить внимание на то, что редко можно встретить событие, при котором его исходы равновероятны.)

Сегодня на уроке мы должны ответить на вопрос: как вычислить количество информации в сообщении о неравновероятном событии.

IV. Объяснение нового материала.

Для определения количества информации не всегда возможно использовать формулу Хартли. Её применяют, когда выбор любого элемента из множества, содержащего N элементов, равнозначен. До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Интуитивно понятно, например, что для ученика-отличника получение пятёрки и получение двойки – события не равновероятные. Для такого ученика получить пятёрку – вполне вероятное событие, а получение двойки – маловероятное. Для двоечника – все наоборот.

Вероятность некоторого исхода события выражается в долях единицы и равна отношению количества повторений данного исхода события к общему числу повторений события:

р=K/N,

где К – величина, показывающая сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-то процесса.

Чтобы определить, какова вероятность получения каждой оценки в задаче №3, нужно подсчитать общее количество разных оценок, полученных за контрольную работу. Определив, какую часть от общего числа оценок составляют двойки, найдем вероятность получения двойки. Затем, определив, какую часть от общего количества составляют тройки, найдем вероятность получения тройки. Доля четвёрок среди всех оценок – это вероятность получения четверки, а доля пятёрок - это вероятность получения пятёрки.

Предположим, мы посчитали, что всего оценок 30. N = К5 +К4+К3+К2=30 Среди них: К5=10 пятёрок, К4=13 четвёрок, К3=5 троек и К2=2 двоек. Тогда:

  • вероятность пятерки: Р5=10/30=0,33;

  • вероятность четверки: Р4=25/100=0,43;

  • вероятность тройки: Р3=10/100=0,17;

  • вероятность двойки: Р2=5/100=0,07.

Обратите внимание, что сумма вероятностей возможных событий равна 1.

Зная вероятности событий, можно определить количество информации в сообщении о каждом из них.

Согласно теории информации, для этого нужно решить показательное уравнение

2i=1/Р, т.е. I=log21/Р = - log2P

где I – это количество информации в сообщении о неравновероятностном событии,

P – вероятность события.

В математике функцию вида y(x) = ax называют показательной, её не следует путать с хорошо известной вам степенной функцией вида y(x) = xa.

y = 2x и y = x2 — совершенно разные функции.

Функцию, обратную к показательной, называют логарифмической и обозначают log.

Логарифмом числа b по основанию a называют такое число x, что ax = b. При этом пишут:

x = loga b или ax = b

Число a называют основанием логарифма. Часто используются логарифм по основанию 10 (он называется десятичным логарифмом и обозначается lg) и логарифм по основанию e 2,72 (натуральный логарифм, ln).

Для вычисления логарифма используйте программу WiseCalculator)

Вернемся к формуле и подсчитаем по этой формуле количество информации, содержащейся в сообщении о получении нашим учеником каждой из оценок.




Мы еще не ответили на вопрос: сколько получим информации при получении любой из четырех оценок?

Ответить на этот вопрос нам поможет формула вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.

I-количество информации, содержащейся в сообщении о любом из n событий,

рi - вероятности отдельных событий.

Для нашего примера:

I = - (р5∙log2p5 + р4∙log2p4 + р3∙log2p3 + р2∙log2p2)= - (0,33∙ log20.33 +0,43∙ log20,43 + 0,17∙ log20,17 + 0,07∙ log20,07)≈1,74 бит

Теперь мы с вами можем ответить на вопросы задачи, которая была поставлена в начале урока. Какое сообщение содержит большее количество информации?

Мы видим, что количество информации достигает максимального значения, если события равновероятны.

Можно ли применить формулу К. Шеннона для равновероятных событий?

Если p1=p2=..=pn=1/N, тогда формула принимает вид:


или 

Мы видим, что формула Хартли является частным случаем формулы Шеннона.

V. Закрепление изучаемого материала.

Сейчас мы проведем небольшое исследование в результате которого установим связь между содержательным и алфавитным подходом к определению количества информации.

Исследовательская работа по группам(10 - 15 минут).

  1. Группа (5 чел.)

  1. По данному тексту составьте частотный словарь русского языка для букв, входящих в слово ВЕРОЯТНОСТЬ. Рассчитайте информационный объем этого слова по алфавитному и содержательному подходу к определению количества информации. Сделать выводы.

  2. Сделайте выводы относительно зависимости информационных весов символов от их частотной характеристики и правила расположения букв на клавиатуре.

  1. Группа (5 чел.)

  1. По данному тексту составьте частотный словарь русского языка для букв, входящих в слово КОМПЬЮТЕР. Рассчитайте информационный объем этого слова по алфавитному и содержательному подходу к определению количества информации. Сделать выводы.

  2. Сделайте выводы относительно зависимости информационных весов символов от их частотной характеристики и правила расположения букв на клавиатуре.

  1. Группа (5 чел.)

  1. По данному тексту составьте частотный словарь русского языка для букв, входящих в слово ИНФОРМАЦИЯ. Рассчитайте информационный объем этого слова по алфавитному и содержательному подходу к определению количества информации. Сделать выводы.

  2. Сделайте выводы относительно зависимости информационных весов символов от их частотной характеристики и правила расположения букв на клавиатуре.

VI. Подведение итогов урока.

  1. При алфавитном подходе, считается, что все символы алфавита встречаются в сообщениях, записанных с помощью этого алфавита, одинаково часто. Однако, в действительности символы алфавитов естественных языков в сообщениях появляются с разной частотой.

Разные люди, получившие одно и то же сообщение, по-разному оценивают количество информации, содержащееся в нем. Это происходит оттого, что знания людей об этих событиях, явлениях до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, чем написано в статье, скажут, что информации не получили вовсе. Таким образом, количество информации в сообщении зависит от того, насколько ново это сообщение для получателя.

При таком подходе непонятно, по каким критериям можно ввести единицу измерения информации. Следовательно, с точки зрения информации как новизны мы не можем оценить количество информации, содержащейся в научном открытии, новом музыкальном стиле, новой теории общественного развития.

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст. Только алфавитный подход пригоден при использовании технических средств работы с информацией.

  1. Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

VII. Домашнее задание: §

Решить задачи:

  1. В игре «лото» используется 50 чисел. Какое количество информации несёт выпавшее число.

  2. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несёт сообщение, что достали белый шар?



Скачать документ

Похожие документы:

  1. Утверждаю (13)

    Пояснительная записка
    Основной задачей курса является подготовка учащихся на уровне требований, предъявляемых образовательным стандартом среднего (полного) общего образования по информатике и информационным технологиям (2004 г.
  2. Пояснительная записка Программа предназначена для учащихся информационно технологического профиля общеобразовательных школ. Рабочая программа является

    Пояснительная записка
    Рабочая программа является типовой и составлена на основе допущенной (МО РФ) к применению программы профильного курса информатики и ИКТ на профильном уровне для X– XI классов автор Угринович Н.
  3. Учебное пособие Житомир 2001 удк 33: 007. Основы экономической кибернетики. Учебное пособие. Житомир: ипст. 1998г. (В электронном виде)

    Учебное пособие
    Учебное пособие «Основы экономической кибернетики» составлено по материалам книги: Экономическая кибернетика: Учебное пособие; Донецкий гос.ун-т.-Донецк ДонГУ,1 .
  4. Курносов Ю. В., Конотопов П. Ю (1)

    Документ
    В книге рассматривается широкий спектр вопросов, связанных с методологией, организацией и технологиями информационно-аналитической работы (безотносительно к области деятельности).
  5. Лекция №4-5 Измерение информации Пример

    Лекция
    Пример. Не правда ли, истрепанная книжка, если в ней нет вы­рванных страниц, несет для вас ровно столько же инфор­мации, сколько такая же новая? Каменная скрижаль весом в три тонны несет для архео­логов столько же информации, сколько

Другие похожие документы..