\setcounter{page}{1}
\pagestyle{fancy}
\fancyhead{}
\fancyfoot{}
\fancyfoot[C]{\thepage}
\footskip = 30pt
\renewcommand{\headrulewidth}{0pt}
\renewcommand{\footrulewidth}{0pt}
\psset{ comma,
ury=1cm,% отступ сверху графика
lly=-1cm,
algebraic,% способ задания функций
plotstyle=ecurve,
yAxisLabel=$W(x)$}% стиль графика
\section{Общие сведения}
\subsection{Информация}
В простейшем случае можно дать следующее определение информации:
\textbf{Информация} – сообщение о состоянии чего-либо (об объекте, событии, явлении).
\begin{leftbar}
К размышлению:
С уверенностью можно сказать, что информационные процессы происходят в любых живых организмах. Любое сообщество живых организмов так же не может нормально существовать без информации. Однако способы передачи информации в каждом случае могут быть разными.
\end{leftbar}
Одним из способов передачи информации является язык.
\textbf{Язык} – система символов относящихся к разным объектам
Примерами языка можно считать:
\begin{itemize}
\item Генетический язык, который задаёт черты и особенности организма, где каждый ген отвечает определённой черте
\item Язык пчёл --- это танец задающий направление на запах
\item Язык рыб --- движения дающие понять другим рыбам о необходимости смены направления движения
\item Язык муравьев --- химические метки указывающие направление
\end{itemize}
Сейчас информация всё больше принимает реальную ценность, имеет всё большее значение для развития цивилизации, и определяет уровень этого развития.
Более полным можно считать следующее определение:
\textbf{Информация} (лат. \textit{"informatio"} — осведомление, разъяснение, изложение) – совокупность сведений об объекте, которая уменьшает неопределенность, которая была у пользователя до получения сообщения.
Следовательно, сообщения, которые не уменьшают неопределенность --- не несут информации.
Специфика информации заключается в том, что будучи объективно существующим явлением, она не является материей или энергией.
Передача и восприятие информации базируется на объективном свойстве материи: одна система отображает у себя образ другой системы за счет изменения своих свойств. Это свойство называется свойством отражения.
Для количественной оценки переданной информации используется вероятностный метод --- количество информации равняется разнице доопытной и послеопытной энтропией.
\textbf{Энтропия} --- степень неопределенности.
\textbf{Доопытная энтропия} – энтропия до передачи информации.
\textbf{Послеопытная энтропия} – энтропия после передачи информации.
В связи с вероятностным характером оценки энтропии следует и информацию связать с вероятностью:
$$I(x,i)= \dfrac{const}{P(x,i)}$$
Тут $I(x,i)$ --- информация о том, что $х$ находится в положении $i$. $P(x,i)$ --- вероятность того что $x$ находится в этом положении.
Легко видеть, что при большей вероятности события оно несёт меньшую информацию. Однако в таком виде информация не может принимать нулевые значение, поэтому пользуются формулой Шеннона:
$$ I(x,i)=\log \frac{ P_{апс}(x,i) }{ P_{апр}(x,i) } $$
В данной формуле приняты следующие обозначения:
\begin{description}
\item[$I(x,i)$] --- количество переданной информации;
\item[$P_{апс}(x,i)$] --- апостериорная вероятность;
\item[$P_{апр}(x,i)$] --- апостериорная вероятность.
\end{description}
В этой формуле логарифм означает аддитивное свойство информации.
Точно ничего измерить нельзя, поэтому никогда $P_{апс} \neq 1$. Но часто принимают именно $P_{апс} = 1$, поэтому окончательная формула:
$$ I(x,i) = \log \frac{1}{P_{а}(x,i)} $$
Тут и далее $P_{a}(x,i)=P_{апр}(x,i)$
Основание логарифма определяется единицами измерения информации: $\log_2$ – для измерения в битах.
\textbf{bit} (сокращение от англ.~\textit{"binary~digit"} --- бинарное число) --- информация о том, что объект находится в одном из 2х равновесных состояний.
Рассмотрим количество информации в словах:
$$ I_{сл} = \log_2{m^n} = n \cdot \log_2{m} $$
где
\begin{description}
\item[$m$] --- количество букв в слове;
\item[$n$] --- количество букв в алфавите.
\end{description}
Например, для слов русского языка справедлива следующая формула:
$$ I_{сл.русс} = n \cdot \log_2{32} = 5 n $$
То есть, в одной странице текста, где среднее количество символов достигает 2000, содержится 10000~бит информации. Но информация относительна, а приведённые примеры не учитывают семантики, так что реальное количество информации может сильно отличаться от них.
\pagebreak
\subsection{Апостериорная информация}
\textbf{Апостериорная информация} (лат.~\textit{"a posteriori"} --- из последующего) --- информация, которой располагает пользователь, после передачи ему сообщения.
\textbf{Априорная информация} (лат.~\textit{"a priori"} --- из предыдущего)~--- опытная информация. Может быть получена в результате теоретического анализа, статистики, доопытного эксперимента.
\textbf{Детерминированная информация} – информация, мгновенное значение которой заранее известно, например --- задано формулой.
\textbf{Недетерминированная информация} --- информация, мгновенное значение которой наперед неизвестно. Такая информация может быть описана законом распределения вероятности.
\begin{figure}[h]
\centering
\begin{psgraph}[arrows=->,labels=none,Dy=0.3](0,0)(0,0)(5,1.1){.55\textwidth}{3.5cm}
%fill area
\pscustom[fillstyle=solid,fillcolor=blue!40,linestyle=none]{%
\psplot{3.3}{3.8}{ 2.8^((-(x-3)^2)) }
\psline(3.8,0)(3.3,0)
}
\psplot[plotpoints=50]{0}{5}{2.718^((-(x-3)^2))}
\psxTick(3.3){$a$}
\psxTick(3.8){$b$}
\psline[linestyle=dashed,linewidth=.02](3.3,0)(3.3,0.91)
\psline[linestyle=dashed,linewidth=.02](3.8,0)(3.8,0.52)
\resetOptions
\end{psgraph}
\caption{Пример закона распределения}\label{plt:inf1}
\end{figure}
Из этого закона мы можем определить вероятность нахождения величины в интересующих нас пределах:
$$ P(a<x<b) = \int \limits_a^b W(x) dx $$
\pagebreak
\subsection{Сообщение}
\textbf{Сообщение} --- материальная форма представления информации.
Примером сообщения может служить звуковая волна. Эта волна может быть преобразована в колебания напряжения с помощью ФЭПИ. После этого можно получить сигнал соответствующий этому сообщению
\begin{figure}[h]
\centering
\input{images/PhEC}
\caption{ФЕПИ}\label{fig:mess1}
\end{figure}
\begin{figure}[h]
\centering
\psset{ yAxisLabel= $\Psi(t)$, ury=-0.3cm}
\begin{psgraph}[trigLabels,arrows=->,labels=none](0,0)(0,-1.1)(4,1.1){.55\textwidth}{3cm}
\psplot[plotpoints=50,algebraic]{-0.1}{3.8}{sin(3*x*\psPiH)}
\end{psgraph}
\psset{ yAxisLabel= $U(t)$, ury=-0.3cm,lly=0.4cm}
\begin{psgraph}[trigLabels,arrows=->,labels=none](0,0)(0,-1.1)(4,1.1){.55\textwidth}{3cm}
\psplot[plotpoints=50,algebraic]{-0.1}{3.8}{0.6*sin(3*x*\psPiH)}
\end{psgraph}
\caption{Пример сообщения}\label{plt:mess2}
\end{figure}
\textbf{Сигнал} --- физический процесс, один из параметров которого несет в себе сообщение.
\begin{figure}[h]
\centering
\psset{ yAxisLabel= $U_с(t)$, ury=1cm,lly=0cm}
\begin{psgraph}[trigLabels,arrows=->,labels=none](0,0)(0,-1.1)(4,1.1){.55\textwidth}{3cm}
\psplot[plotpoints=750]{-0.05}{3.8}{(1.5+sin(3*x*\psPiH))*cos(40*x*\psPiH)/2.5}
\psplot[plotpoints=50,linestyle=dashed]{-0.05}{3.8}{(1.5+sin(3*x*\psPiH))/2.5}
\end{psgraph}
\caption{Пример сигнала}\label{plt:mess3}
\end{figure}