№1 Вероятности совместного появления P(x_i,y_j) объединения двух ансамблей заданы в таблице 1. Определить точные и средние количества неопределенности в совместном наступлении событий x_i и y_j, а также точные и средние количества неопределенности в y_j при известном исходе x_i.
3. Найдем точные значения неопределенностей в наступлении события y_j при известном исходе некоторого события x_i. Для этого необходимо знать условные вероятности P(y_j/x_i ), а затем воспользоваться формулой:
H(y_j/x_i )=-log P(y_j/x_i ).
Найдем сначала безусловные вероятности P(x_i ) и P(y_j ) по формулам полной вероятности:
5. Найдем частные условные энтропии путем усреднения точных условных энтропий:
H(Y/x_i )=∑_(j=3)^3▒〖P(y_j/x_i )•〗 H(y_j/x_i ).
Результаты расчета следующие:
H(Y/x_1 )=1,38, H(Y/x_2 )=1,31, H(Y/x_3 )=1,38.
6. Эти результаты образуют случайную величину, значения которой наступают с вероятностью P(x_i ). Поэтому только среднее H(Y/x_i ), усредненное с весом P(x_i ), не случайно, а именно:
H(Y/X)=∑_(i=1)^3▒〖H(Y/x_i )•P(x_i ) 〗=1,36 бит.
7. Если испытания будут независимы то энтропия объединения будет:
№9 Источник сообщений вырабатывает символы a и b. Условные вероятности имеют следующие значения: P(a/b) = 0,12; P(b/b) = 0,88; P(b/a) = 0,73; P(a/a) = 0,27. Определить энтропию источника.
Решение
1. Рассчитаем вероятность совместного события P(a,b), равную делителю матрицы, состоящей из условных вероятностей:
3. При σ_X=23 относительная энтропия будет равна: H_ε (X)=6,57.
№26 Зашифровать фамилию и отчество студента, выполняющего контрольное задание, с автоключом при использовании криптограммы. В качестве первичного ключа использовать свое имя.
Решение
1. Произведем шифрование текста ТАРЛЕЦКИЙ_ОЛЕГОВИЧ с автоключом РОДИОН по следующей формуле:
Y_i=X_i+k_i (mod N);
где Y_i- i-й символ алфавита; X_i- i-й символ открытого текста; k_i- i-я буква ключа; N- длина используемого алфавита.
2. Процесс шифрования представим в таблице 1.
Таблица 1. Открытый текст Ключ Преобразование Шифр 1. Т Р Y_1=20+17(mod 33)=4 Г 2. А О Y_2=1+16(mod 33)=17 П 3. Р Д Y_3=18+5(mod 33)=23 Х 4. Л И Y_4=13+09(mod 33)=22 Ф 5. Е О Y_5=6+16(mod 33)=22 Ф 6. Ц Н Y_6=24+15(mod 33)=6 Е 7. К В Y_7=12+3(mod 33)=15 Н 8. И П Y_8=10+17(mod 33)=27 Щ 9. Й Х Y_9=11+23(mod 33)=1 А 10. - Ф Y_10=33+22(mod 33)=22 Ф 11. О Ф Y_11=16+22(mod 33)=5 Д 12. Л Г Y_12=13+4(mod 33)=17 П 13. Е Н Y_13=6+15(mod 33)=21 У 14. Г Ш Y_14=4+26(mod 33)=30 Ь 15. О Я Y_15=16+33(mod 33)=16 О 16. В Ф Y_16=3+22(mod 33)=25 Ч 17. И В Y_17=10+3(mod 33)=13 Л 18. Ч Щ Y_18=25+27(mod 33)=19 С
Ответ: ГПХФФЕНЩАФДПУЬОЧЛС.
№40 По бинарному каналу передаются два сообщения. В качестве сообщений принять числа 123 и 132, представленные в двоичном эквиваленте (оба двоичных сообщения дополнить до 10-разрядных): 1111011000 и 1000010000. Длительность каждого элемента сообщения τ = 10 мс. Определить скорость передачи каждого сообщения и пропускную способность двоичного канала.
Решение
Рассчитаем вероятности появления нулей и единиц двух сообщений:
№43 Для передачи по каналу связи без шумов используется код, состоящий из двух букв a1 и a2, появляющихся с вероятностями P(a1) = 0,06 и P(a2) = 0,94 соответственно. Применить метод Шеннона-Фано к кодированию всевозможных однобуквенных, двухбуквенных и трехбуквенных сообщений. Определить среднюю длину в каждом случае и результаты сравнить между собой.
Ответ: кодирование блоками более выгодно, чем кодирование отдельных букв.
№46 Закодировать в рекуррентном коде последовательность информационных символов с шагом сложения b = 3. Процесс образования контрольных символов пояснить с помощью функциональной электрической схемы. В качестве последовательности принять число 123, представленное в двоичном коде, с повторением дважды: 11111011111101. Привести описание работы кодера.
Решение
1. Кодирование произведем с помощью кодера, структурная схема которого представлена на рисунке 2.
Рисунок 1 - кодер
Из схемы следует, что контрольные символы формируются с задержкой на b тактов. По этому перед информационной последовательностью, подлежащей кодированию, необходимо приписать 2b нулей, т.е. шесть. Контрольные символы образуют путем сложения по модулю два информационных символов расположенных на расстоянии b друг от друга. Процесс образования: Информационные символы: 11111011111101000000. Контрольные символы: 00100100010101000. В данном коде, как следует из кодера, после каждого информационного символа следует проверочный символ. Перед этим нули в начале информационного кода и оставшиеся лишние символы в конце проверочного кода откидываются. Таким образом, на выходе получим последовательность символов 1010111010011010101110110011000000.
№49 Привести функциональную схему кодирующего устройства систематического сверточного кода для порождающего полинома P(x) = x4 + x2 + x + 1. Закодировать с помощью данного устройства кодовую комбинацию G(x), соответствующую числу 23 (10111), записанному в двоичном коде. Записать импульсную переходную характеристику кодера.
Решение
Основой для построения функциональной схемы кодирующего устройства для формирования сверточного кода является: 1. заданное число разрядов регистра сдвига, k=5;
2.
3. скорость формирования сверочного кода,
,
где - число символов сообщения, которые поступают на вход кодирующего устройства для формирования определенного отрезка кодовой комбинации . Число разрядов регистра либо задано, либо его определяют по старшей степени в системе образующих полиномов, степень X (в данном случае 4+1=5=k) будет образовать число разрядов. Сумматоров по mod2 ставится столько, сколько образующих полиномов в нашей системе. Связи сумматоров с триггерами регистра сдвига определяются соответствующими коэффициентами многочленов.
Рисунок 3 Структурная схема кодирующего устройства
Систематическим сверточным кодом является такой код, для которого в выходной последовательности кодовых символов содержится без изменения породившая ее последовательность информационных символов. 1010110
Комбинация на выходе: 11 00 10 10 11. ИПХ кодера будет иметь вид: H=11.00.10.10.11
Литература 1. Дмитриев, В.И. Прикладная теория информации / В.И. Дмитриев. – М. : Высшая школа, 1989. – 320 с. 2. Темников, Ф.Е. Теоретические основы информационной техники / Ф.Е. Темников и др. – М. : Энергия, 1979.-512 с. 3. Сорока, Н.И. Теория передачи информации: конспект лекций / Н.И. Сорока, Г.А. Кривинченко. – Минск : БГУИР, 1998. – 88 с. 4. Кларк-мл., Кейн Дж. Кодирование с исправлением ошибок в системах цифровой связи. 1987
