Учреждение образования «Белорусский государственный университет информатики и радиоэлектроники»
Факультет заочного обучения
Кафедра систем управления
КОНТРОЛЬНАЯ РАБОТА
по дисциплине «Теория передачи информации» для студентов специальности 1-53 01 07 «Информационные технологии и управление в технических системах»
Выполнил студент группы 302441
Руководитель Н.И. Сорока
Минск 2015 Задача №2 По линии связи с помехами передаётся одно из двух сообщений х1 или x2 с вероятностями p и q соответственно, причем p + q = 1. На приёмном конце канала сигналу x1 соответствует y1, а сигналу x2 соответствует y2. Заданы условные вероятности правильного приёма P(y1/x1) = Δ и P(y2/x2) = δ. Определить количество информации I(Y,X). Решение. Определим количество информации по формуле : I(Y,X)=∑_(i=1)^n▒〖∑_(j=1)^n▒〖P(y_j,x_i )log (P(y_j/x_i))/(〖P(y〗_j))〗;〗 P(y_j,x_i )=P(y_j/x_i)∙P〖(x〗_i); P(y_j )=∑_(i=1)^n▒〖P(y_j/x_i)∙P〖(x〗_i)〗; I(Y,X)=P(y_1/x_1)∙P〖(x〗_1)∙log (P(y_1/x_1))/(P(y_1/x_1)∙P〖(x〗_1)+(1-P(y_2/x_2))∙P〖(x〗_2))+(1- -P(y_1/x_1))∙P〖(x〗_1)∙log (1-P(y_1/x_1))/(P(y_2/x_2)∙P〖(x〗_2)+(1-P(y_1/x_1))∙P〖(x〗_1)))+(1-P(y_2/x_2))∙ ∙P〖(x〗_2)∙log (1-P(y_2/x_2))/(P(y_1/x_1)∙P〖(x〗_1)+(1-P(y_2/x_2))∙P〖(x〗_2))+P(y_2/x_2)∙P〖(x〗_2)∙ ∙log (P(y_2/x_2))/(P(y_2/x_2)∙P〖(x〗_2)+(1-P(y_1/x_1))∙P〖(x〗_1))); Тогда количество информации равно I(Y,X) : I(Y,X)=∆∙p∙log ∆/(∆∙p+(1-δ)∙q)+(1-∆)∙p∙log (1-∆)/(δ∙q+(1-∆)∙p)+ +(1-δ)∙q∙log (1-δ)/(∆∙p+(1-δ)∙q)+δ∙q∙log (1-δ)/(δ∙q+(1-∆)∙p);
Задача №7 Источник, используя алфавит из двух символов x1 и x2, вырабатывает последовательность, состоящую из этих символов. Вероятностные связи в данной последовательности имеют место между четырьмя символами. Определить все возможные состояния источника и порядок их следования в данной последовательности. Исходную последовательность записать, представив число zkL в виде двоичного числа и поставив каждой его цифре в соответствие символ последовательности по следующему правилу: нулю – символ x1, единице – символ x2. Zkl = 11110 = 11011112; Заменим последовательность с учётом правил: X2X2X1X2X2X2X2; В условии задан эргодический источник третьего порядка ( r = 3 ) . Поэтому число различных состояний источника равно 23 = 8 .Выпишем их , нумерую их соответствующими индексами : x1x1x1 – S111 x1x2x2 – S122 x1x1x2 – S112 x2x1x2 – S212 x1x2x1 – S121 x2x2x1 – S221 x2x1x1 – S211 x2x2x2 – S222 Чтобы установить в каком состоянии находиться источник, нужно подождать, пока выработается три символа . Поэтому в последовательности X2X2X1X2X2X2X2 первым состоянием является S221 . Затем , после появления х2 ,источник переходит в состояние S212 и т.д. Получается следующая последовательность состояний, проходимая источником: S221→ S212→ S122→ S222→ S222 …
Задача №14 Вычислить относительную энтропию случайной величины X, распределённой по гауссовскому закону. Принять δx равным kL. Примечание. Плотность вероятности случайной величины X, распределённой по гауссовскому закону, определяется выражением . Решение. H_∆ (X)=∫_(-∞)^∞▒〖W(x)∙logW(x)-log∆x;〗 H_∆ (X)=∫_(-∞)^∞▒〖1/(δ_x∙√(2∙π))∙exp(-x^2/(2〖δ_x〗^2 ))log(1/(δ_x∙√(2∙π))∙exp(-x^2/(2〖δ_x〗^2 )) )-log∆x;〗
Где ∆x является интервалом квантования . При ∆x=1 и kL = 11 , относительная энтропия случайной величины Х равна: H_∆ (X)=∫_(-∞)^∞▒〖1/(11∙√(2∙π))∙exp(-x^2/(2〖∙11〗^2 ))log(1/(11∙√(2∙π))∙exp(-x^2/(2〖∙11〗^2 )) ) 〗 =log(11∙√(2∙π∙e)) =5,5
Задача №20 Произвести сжатие текстовой строки ХХХХХYYYZZYYYYYXXXZZZZZ по методу кодирования повторов, где Х, Y и Z начальные буквы фамилии, имени и отчества студента, выполняющего контрольное задание, соответственно. Указать недостатки данного метода. Решение. X = И; Y = Е; Z = В; Следовательно наша последовательность примет вид : ИИИИИЕЕЕВВЕЕЕЕЕИИИВВВВВ; Закодируем данную последовательность : Пусть Sc – это специальный символ , обозначающий сжатие , тогда получим Sc5ИSc3ЕSc2ВSc5ЕSc3ИSc5В Что в двоичном коде, с учётом того, что Sc = 111111112 ,примет вид 11111111 00000101 11001000 11111111 00000011 11000101 11111111 00000010 11000101 11111111 00000101 11000101 11111111 00000011 11001000 11111111 00000101 11000101 Недостатком данного метода является низкая степень сжатия , при малом числе серии повтора . Также если при кодировании возникнет ошибка, то на выходе при восстановления может получится совершенно другая информация.
Задача №41 По каналу связи без помех передаются пять сообщений с вероятностью P(x1) = 1/2, P(x2) = 1/4, P(x3) = 1/8, P(x4) = 1/16, P(x5) = 1/32 в двоичном коде. Определить нижнюю границу средней длины кодового слова. Решение . L ≥ H(X)/logm=(-∑_(i=1)^n▒〖P(x_i)∙logP(x_i)〗)/logm; L ≥ H(X)/logm==(-(0,5∙log0,5+0,25∙log0,25+0,125∙log0,125+0,0625∙log0,0625+0,03125∙log0,03125)/log2 =1,78125 символов;
Задача №42 Построить код Шеннона–Фано для восьми сообщений, имеющих следующие вероятности: P(x1) = 0,2 + 0,0k, P(x2) = 0,2 + 0,0L, P(x3) = 0,15 – 0,0k, P(x4) = 0,13 – 0,0L, P(x5) = 0,12 + 0,0z, P(x6) = 0,10 - 0,0z, P(x7) = 0,07, P(x8) = 0,03. Определить среднее число нулей и единиц, приходящихся на одно сообщение. Решение. P(x1) = 0,21; P(x2) = 0,21; P(x3) = 0,14; P(x4) = 0,12; P(x5) = 0,13; P(x6) = 0,09; P(x7) = 0,07; P(x8) = 0,03; Построим код Шеннона–Фано : xi P(xi) Разбиение сообщений код µ L x1 0,21 1 1 1 1 1 1 111 3 0,63 x2 0,21 0 110 3 0,63 x3 0,14 0 10 2 0,28 x5 0,13 0 0 0 0 0 1 1 1 011 3 0,39 x4 0,12 0 010 3 0,36 x6 0,09 0 0 0 1 001 3 0,27 x7 0,07 0 0 1 0001 4 0,28 x8 0,03 0 0000 4 0,12
Найдём среднюю длину кодового слова: L=0,63+0,63+0,28+0,39+0,36+0,27+0,28+0,12= =2,96 символов; Среднее число нулей равно : L(0)= 0,21∙1+0,14∙1+0,13∙1+0,12∙2+0,09∙2+0,07∙3+0,03∙4= =1,23 символов; Тогда вероятность появления нулей ровна : P(0)=L(0)/L; P(0)=1,23/2,96=0,42; Тогда число единиц равно: P(1)=1-P(0); P(1)=1-0,42=0,48;
Задача №46 Закодировать в рекуррентном коде последовательность информационных символов с шагом сложения b = 3. Процесс образования контрольных символов пояснить с помощью функциональной электрической схемы. В качестве последовательности принять число zkL, представленное в двоичном коде, с повторением дважды. Привести описание работы кодера. Решение. zkL = 111 , в двоичном коде с повторением дважды пример вид : 11011111101111; Контрольные символы образуются следующим образом : Номер такта Вход Состояние ячеек Выход DD1 DD2 DD3 DD4 DD5 DD6 DD7 1 1 1 0 0 0 0 0 0 2 1 1 1 0 0 0 0 0 3 0 0 1 1 0 0 0 0 4 1 1 0 1 1 0 0 1 5 1 1 1 0 1 1 0 1 6 1 1 1 1 0 1 1 0 7 1 1 1 1 1 0 1 0 8 1 1 1 1 1 1 0 0 9 1 1 1 1 1 1 1 1 10 0 0 1 1 1 1 1 0 11 1 1 0 1 1 1 1 0 12 1 1 1 0 1 1 1 0 13 1 1 1 1 0 1 1 1 14 1 1 1 1 1 0 1 0 Тогда G(X) = 11011111101111; r(X) = 00011000100010; F(X) = 1010001111101010110010101110; Функциональная электрическая схема примет вид :
Задача №49 Привести функциональную схему кодирующего устройства систематического свёрточного кода для порождающего полинома P(x) = x4 + x2 + x + 1. Закодировать с помощью данного устройства кодовую комбинацию G(x), соответствующую числу kL, записанному в двоичном коде. Записать импульсную переходную характеристику кодера. Решение. Функциональная схема кодирующего устройства примет вид:
Список , используемой литературы : - Н. И. Сорока, Г. А. Кривинченко «Теория передачи информации» сборник задач 2015 года; - Н. И. Сорока, Г. А. Кривинченко «Теория передачи информации» конспект лекций 2011 года .
