2. Корреляционный анализ.
2.1. Определение и свойства корреляционной функции. Теорема
Винера-Хинчина.
В компьютерных применениях методов КА и СА,
используются дискретные выборки. Однако мы будем использовать
аналоговое представление, поскольку интегралы, особенно
двойные,и их преобразования нагляднее преобразования двойных
сумм.
Кроме того в КА и СА будут рассматриваться в основном
случайные процессы или детерминированные сигналы,
погруженные в шум.
Рассмотрим два случайных процесса x(t) и y(t).
Ковариационная функция этих процессов K xy t1 ,t2  определяется
следующим образом
K xy t1 , t 2   Ext1 yt 2   xt1 yt 2   xy
(1)
Здесь:
𝐸𝑥𝑦 {𝑡1 , 𝑡2 } = ∬ 𝑓(𝑥, 𝑦, 𝑡1 , 𝑡2 )𝑑𝑥𝑑𝑦- математическое ожидание,
xt1 yt 2   lim T
1
 xn t1 yn t2  - статистическое усреднение по
N n
ансамблю,
1 𝑇
̅̅̅ = lim ∫0 𝑥(𝑡)𝑦(𝑡) 𝑑𝑡– усреднение по времени (для
𝑥𝑦
𝑇→∞ 𝑇
эргодических процессов). lim
𝑇→∞
Ковариационная функция случайного процесса обычно
интерпретируется как статистическая мера связи значения одного
процесса в некоторой момент времени 𝑡1 со значением второго
процесса в другой момент времени𝑡2 .
В определнии (1) ковариационная функция зависит от двух
моментов времени t1 и t2. Важной характеристикой случайного
процесса являются его стационарность. Случайный процесс
называется стационарным, если его статистические характеристики
инвариантны относительно сдвига оси времени. В дальнейшем при
формальном описании ковариационных функций мы будем
предполагать стационарность случайного процесса. В этом случае
ковариационная функция будет зависеть только от одной
переменной  = 𝑡2 − 𝑡1 - временного сдвига.
Помимо ковариационной функции широко используются
корреляционные функции: автокорреляционная функция Rxx( ) и
функция взаимной корреляции Rxy( ). Для стационарных процессов
они определяются следующими выражениями
1
R xx   
R xy   
 xt  
 xt  
 xt    
xt   yt    
xt 
xt  ,
(2)
yt  ,
здесь xt  , yt  - средние значения случайных процессов. Из (2)
следует, что для центрированных (с нулевым средним) процессов
ковариационная и корреляционная функции совпадают.
В качестве простого, но важного для понимания сущности
корреляционной функции, примера рассмотрим гармонический
процесс со случайной начальной фазой. Его можно представить как
стационарный случайный процесс с реализациями
x k t   A sin2f 0 t   k  ,
(3)
где k -случайная величина, равномерно распределенная на
интервале [0,2], т.е.
p   1 2 .
(4)
Реализации стационарного случайного процесса типа (3) можно
получить с помощью обычного осциллографа, если на его вход
подать гармонический сигнал и запуск развертки производить в
случайные моменты времени. Из (3) следует, что каждая реализация
представляет собой по существу детерминированный процесс,
однако начальная фаза гармонической функции случайным образом
меняется от одной реализации к другой. Можно показать, что
плотность вероятности этого случайного процесса 𝑝(𝑥) имеет вид
1⁄(𝜋√2𝜎 2 − 𝑥 2 ) , |𝑥| < 𝐴
𝑝(𝑥) = {
|𝑥| ≥ 𝐴,
0,
где 𝜎 = 𝐴⁄√2 - среднеквадратичное отклонение случайного
процесса. Заметим, что наиболее вероятным является |𝑥| = 𝐴,
поскольку процесс на каждом периоде наибольшее время находится
вблизи крайних значений, а наименьшее время находится вблизи
среднего значения 𝑥 = 0.
Если рассмотреть суперпозицию 𝑦(𝑡) = 𝑥(𝑡) + 𝑛(𝑡), где 𝑛(𝑡) гауссовский случайный шум с распределением 𝑝(𝑛) =
то 𝑝(𝑦)= 𝑝(𝑥) ⊗ 𝑝(𝑛) =
1
𝜎𝑛
𝜋
𝑦−𝑥 2
1
𝜎 √2𝜋
𝑒
−(
𝑥 2
)
2𝜎
∫ 𝑒𝑥𝑝 [− ( 4𝜎 ) ] 𝑑𝜃.
𝜋√2𝜋 0
𝑛
Рассмотрим корреляционную функцию 𝑥(𝑡). Учитывая, что
xt   0 и распределение фазы 𝜃 известно – оно равномерное - в
соответствии с (1) получим
A2
Rxx   
2
2
A2
0 sin2f 0t   sin2f 0 t      d  2 cos2f 0 
.(5)
Сделаем несколько комментариев к рассмотренному примеру.
2
1. Rxx 0   x2  x2 t   xt   A2 2 дисперсия случайного процесса.
2. 𝑅𝑥𝑥 (𝜏) = 0, если   n  1 2 f 0 , (sin и cos ортогональны).
Рассмотрим сигнал 𝑥(𝑡), представляющий собой
суперпозицию гармонических сигналов различных частот со
случайными фазами, и его корреляционную функцию
2
N
N
i 1
i 1
xt    Ai sin2f i t   i  , Rxx    
Ai2
cos2 f i 
2
где 𝑖 - некоррелированные равномерно распределенные случайные
начальные фазы.
Два вывода.
1. Спектральный состав сигнала и его корреляционной функции
одинаков.
2. По корреляционной функции невозможно восстановить
сигнал, поскольку в ней “потеряны” фазы спектральных
компонент.
Некоторые свойства корреляционных функций и функций
взаимной корреляции.
∎ Из определения (2) следует, что корреляционная функция четная функция
Rxx    Rxx    .
(6)
∎ В то же время функция взаимной корреляции удовлетворяет
соотношению
Rxy    Ryx   .
(7)
∎ Для функции взаимной корреляции имеет место
неравенство
Rxy2    Rxx  Ryy   или
𝜌𝑥𝑦 (𝜏) =
𝑅𝑥𝑦 (𝜏)
𝜎𝑥 𝜎𝑦
(8)
где −1 ≤ 𝜌𝑥𝑦 (𝜏) ≤ 1 - коэффициент корреляции процессов 𝑥 и 𝑦
.Доказательство. Для двух центрированных случайных процессов 𝑥
и 𝑦 и двух действительных чисел 𝑎 и 𝑏 𝐸(𝑎𝑥 + 𝑏𝑦)2 ≥ 0 . Раскрывая
скобки и полагая, например 𝑏 ≠ 0, получим
(𝑎⁄𝑏)2 𝜎𝑥 2 + 2(𝑎⁄𝑏)𝜎𝑥𝑦 + 𝜎𝑥 2 ≥ 0.
Квадратный трехчлен не имеет различных действительных корней,
поэтому его дискриминант отрицателен 4𝜎𝑥𝑦 2 − 4𝜎𝑥 2 𝜎𝑦 2 ≤ 0 и,
следовательно −1 ≤ 𝜌𝑥𝑦 (𝜏) ≤ 1.
∎ Для периодических процессов корреляционная функция
также периодическая функция с тем же периодом.
∎ Для случайных процессов корреляционная и взаимно
корреляционные функции стремится к нулю при    .
∎ Корреляционная функция при=0 принимает максимальное
значение равное средней мощности или дисперсии.
3
2.1.1. Теорема Винера-Хинчина.
Замечательным свойством стационарных случайных
процессов является связь между корреляционной функцией и
спектральной плотностью мощности случайного процесса. Эта связь
устанавливается теоремой Винера-Хинчина и может служить
определение СПМ случайного процесса.
Представим флуктуационную компоненту стационарного
случайного процесса  t  через интеграл Фурье

~
t   xt   xt      f  expi 2ft df ,
(9)

~
где   f  - спектральные компоненты случайного процесса, которые
также являются случайными функциями частоты f.
Запишем выражение для корреляционной функции R(), используя
представление (9) и теорему Фубини
R     t  t    
 
~ ~
    f   f  expi 2  f   f t  i 2 f dfdf  .
(10)

Поскольку случайный процесс стационарен, то зависимость от t в
правой части (10) должна отсутствовать. Это возможно, если Фурье~
~
компоненты   f ,   f   - коррелированы, т.е.
  f   f   S  f   f  f  ,
~
~
(11)
где S  f  - действительная функция.
Подставляя (11) в (10) и выполняя однократное интегрирование,
получим

R     S  f exp i 2f df .
(12)

Таким образом, корреляционная функция является Фурьепреобразованием от некоторой функции S(f). Для получения
физического смысла S(f), рассмотрим (12) для =0.
∞
2
𝑅𝜉𝜉 (0) = ⟨𝜉(0)2 ⟩ = 𝜎𝜉𝜉
= ∬−∞ 𝑆𝜉𝜉 (𝑓) 𝑑𝑓.
(13)
Из (13) следует, что S(f) представляет собой распределение
дисперсии  2 или средней мощности флуктуационной компоненты
по частотам, т.е. является спектральной плотностью мощности
(СПМ) случайного процесса.
Таким образом, корреляционная функция и СПМ случайного
процесса образуют пару преобразований Фурье
4
Rxx   

 S xx  f exp i 2f df ;
S xx  f  


 R  exp  i 2f d .
xx
(14)

Корреляционная функция, нормированная на дисперсию сигнала,
называется коэффициентом автокорреляции, характеризующим
насколько процесс сам себя помнит.
𝜌𝑥𝑥 (𝜏) = 𝑅𝑥𝑥 (𝜏)⁄𝜎𝑥𝑥 2 ; |𝜌𝑥𝑥 (𝜏)| ≤ 1.
(14.1)
Легко показать, что СПМ для ковариационной функции S xx  f 
случайного процесса с отличным от нуля средним значением будет
иметь  - образную компоненту на нулевой частоте
2
S xx  f   S xx  f   xt    f  .
Для двух случайных процессов взаимная корреляционная
функция 𝑅𝑥𝑦 (𝜏) и взаимная спектральная плотность мощности
𝑆𝑥𝑦 (𝑓) также связаны преобразованием Фурье

Rxy     S xy  f exp i 2f df ;
S xy  f  


 R  exp  i 2f d .
xy
(14.2 )

Из свойств симметрии авто- и взаимо-корреляционной функции
следует
𝑆𝑥𝑥 (𝑓) = 𝑆𝑥𝑥 (−𝑓);
𝑆𝑥𝑦 (−𝑓) = 𝑆 ∗ 𝑦𝑥 (𝑓) = 𝑆𝑦𝑥 (𝑓).
(14.2 )
Для взаимной корреляционной функции можно ввести коэффициент
взаимной корреляции
𝜌𝑥𝑦 (𝜏) =
𝑅𝑥𝑦 (𝜏)
𝜎𝑥𝑥 𝜎𝑦𝑦
;
|𝜌𝑥𝑦 (𝜏)| ≤ 1,
(14.3 )
характеризующий степень связи процесса 𝑥(𝑡) с процессом 𝑦(𝑡 + 𝜏).
В случае аналитических (комплекснозначных) сигналов
вводится односторонняя спектральная плотность
2𝑆 (𝑓), 𝑓 ≥ 0
𝐺𝑥𝑥 (𝑓) = { 𝑥𝑥
(14.4 )
0,
𝑓 ≤ 0.
2𝑆 (𝑓), 𝑓 ≥ 0
𝐺𝑥𝑦 (𝑓) = { 𝑥𝑦
(14.5 )
0,
𝑓 ≤ 0.
Взаимная спектральная плотность, как двусторонняя, так и
односторонняя являются компекснозначными фукциями, т.е. имеют
амплитуду |𝐺𝑥𝑦 (𝑓)| и фазу 𝜃𝑥𝑦 (𝑓) = 𝑎𝑟𝑔 (𝐺𝑥𝑦 (𝑓)).
𝐺𝑥𝑦 (𝑓) = 𝐶𝑥𝑦 (𝑓) − 𝑗𝑄𝑥𝑦 (𝑓)
∞
𝐶𝑥𝑦 (𝑓) = 2 ∫−∞ 𝑅𝑥𝑦 (𝜏)𝑐𝑜𝑠(2𝜋𝑓𝜏) 𝑑𝜏 – коспектральная плотность
(коспектр)
∞
𝑄𝑥𝑦 (𝑓) = 2 ∫−∞ 𝑅𝑥𝑦 (𝜏)𝑠𝑖𝑛(2𝜋𝑓𝜏) 𝑑𝜏 – квадратурная спектральная
плотность (квадратурный спектр).
Для взаимных спектров справедливо неравенство
2
(14.6 )
|𝐺𝑥𝑦 (𝑓)| ≤ 𝐺𝑥𝑥 (𝑓)𝐺𝑦𝑦 (𝑓)
5
Для взаимных спектров можно ввести функцию когерентности
𝛾𝑥𝑦 (𝑓) =
|𝐺𝑥𝑦 |
√𝐺𝑥𝑥 𝐺𝑦𝑦
, 0 ≤ 𝛾𝑥𝑦 (𝑓) ≤ 1.
(14.7 )
Наиболее простую интерпретацию взаимных корреляционных
функций можно получить при рассмотрении распространения
сигнала 𝑥(𝑡) по бездисперсному линейному каналу с постоянной
скоростью и передаточной функцией 𝐻(𝑓) = 𝐻. В канале сигнал
𝑥(𝑡) смешивается с некоррелированным от сигнала шумом 𝑛(𝑡) (см.
рис.). Если время распространения через тракт 𝜏0 , то импульсный
отклик будет иметь вид ℎ(𝜏) = 𝐾𝛿(𝜏 − 𝜏0 ). Тогда сигнал на выходе
примет вид 𝑦(𝑡) = 𝐻𝑥(𝑡 − 𝜏0 ) + 𝑛(𝑡) и функция взаимной
корреляции будет
1 𝑇
𝑅𝑥𝑦 (𝜏) = lim ∫0 𝑥(𝑡)[𝐾𝑥(𝑡 − 𝜏0 + 𝜏) + 𝑛(𝑡)] 𝑑𝑡 = 𝐾𝑅𝑥𝑥 (𝜏 − 𝜏0 ).
𝑇→∞ 𝑇
(14.8 ).
Таким образом, если 𝑥(𝑡) ограниченное по времени воздействие, то
по виду 𝑅𝑥𝑦 (𝜏) можно определить 𝜏0 и, если известна скорость
распространения сигнала по тракту, то и расстояние до источника. В
реальности из-за ограничения времени наблюдения 𝑇 и локальности
входного воздействия выборочная взаимная корреляционная
функция будет содержать шумовую компоненту, которая будет
ухудшать оценку времени распространения сигнала через тракт и,
как следствие, расстояние до источника сигнала.
n(t)
x(t)
Бездисперсный
тракт
+
y(t)
Модель бездисперсного распространения
Время корреляции и ширина спектра случайного процесса
Для случайного процесса можно ввести время корреляциис,
т.е. время, в течении которого процесс себя «помнит» или время,
через которое «распадается» статистическая связь между
значениями случайного процесса. Качественная оценка времени
корреляции может быть получена по корреляционной функции - это
интервал времени, на котором корреляционная функция значительно
отлична от нуля. Используя СПМ, можно ввести ширину спектра
6
случайного процесса f, понимая под ней полосу частот, в которой
сосредоточена основная мощность процесса. Между шириной
спектра f и временем корреляции с существует связь типа
соотношения неопределенностей
f c  const .
(15)
Введем количественные характеристики ширины спектра и
времени корреляции случайного процесса.
Эффективная шумовая ширина спектра определяется
соотношением

 S  f df
xx
f e 
0
S xx  f max

2
(16)
2S xx  f max
и равна ширине прямоугольника, с высотой равной максимальному
значению СПМ и площадью равной половине средней мощности.
При этом

4
2
 c  2  Rxx  d  2 S xx 0 и Δf𝑒 𝜏𝑐 = 1.

0

Возможны и другие оценки ширины спектра и времени
корреляции:
2


  S xx  f df 


4
 
f e   0

2
2
 S xx  f df 4 S xx  f df
0
;  c 
4

4

 R  d
2
xx
f e c  1 .
(21)
0
0
2.1.2. Преобразование корреляционных функций и СПМ
линейными системами.
Рассмотрим линейную систему с одним входом и одним
выходом. Пусть на ее вход поступает стационарный случайный
процесс 𝑥(𝑡) с корреляционной функцией 𝑅𝑥𝑥 () и спектральной
плотностью мощности 𝑆𝑥𝑥 (𝑓) = 𝐹𝑇[𝑅𝑥𝑥 ()]. Линейная система
описывается импульсной характеристикой h(t) и соответствующей
ей частотной характеристикой 𝐻(𝑓) = 𝐹𝑇[ℎ(𝑡)].
h(τ)
H(f)
Входные и выходные характеристики линейной
системы
7
После затухания в системе переходных процессов, связанных с
включением сигнала на входе, реакция системы будет также
представлять собой случайный стационарный процесс. Найдем
спектральные и корреляционные характеристики случайного
процесса на выходе линейной системы.
Связь между выходом и входом системы дается интегралом
свертки
yt   xt   ht  




 xuht  udu   hu xt  udu .
(22)
Сначала рассмотрим взаимную корреляционную функцию
выходного процесса




Rxy    xt  yt      hu xt  xt    u du   hu Rxx   udu .(23)
Т.к. Rxx t  - функция четная, то из (23) следует, что функция
взаимной корреляции представляет собой свертку импульсной
характеристики и автокорреляционной функции
Rxy    h   Rxx   .
(24)
Заметим, что в случае бездисперсного канала с постоянной
задержкой, функция взаимной корреляции будет иметь вид (14.8 ).
Выполнив в (24) Фурье преобразование получим связь между
взаимной спектральной плотностью мощности сигналов на входе и
выходе линейной системы Sxy(f) и СПМ сигнала на входе системы
Sxx(f):
(25)
S xy  f   H  f  S xx  f  ,
Из (25) следует, что знание оценок Sxy(f) и Sxx(f) позволяет, в
принципе, получить оценку как амплитудной, так и фазовой
частотной характеристики исследуемой системы.
Для рассматриваемой нами системы, которой отсутствуют
внутренние шумы функция когерентности
𝛾
2
(𝑓) =
𝑥𝑦
|𝑆𝑥𝑦 (𝑓)|
2
= 𝐻2 (𝑓)
𝑆𝑥𝑥 𝑆𝑦𝑦
𝑆𝑥𝑥
𝑆𝑦𝑦
= 1.
Если 𝛾 2 𝑥𝑦 (𝑓) < 1, то может иметь место одна из следующих
возможностей:
1) В системе присутствуют внутренние шумы:
2) Оценки спектров смещены:
3) Система нелинейна.
8
Автокорреляционную функцию Ryy() с учетом (22) можно
представить в виде




R yy    y t  y t      hu du  hv  xt  u xt    v  dv




 hu du  hv R   u  v dv  h    h   R  ,
xx
.
xx
т.е. автокорреляционная функция на выходе есть двойная свертка
импульсной характеристики и автокорреляционная функция на
выходе системы.
Выполним преобразование Фурье и, учитывая, что для
~
~
действительных функций h  f   h   f  , получим
S yy  f   H f  S xx  f  ,
2
(26)
т.е. спектральные плотности мощности случайных процессов на
входе и выходе линейной системы связаны через квадрат модуля
частотной характеристики этой системы. Из (26) следует, что знание
оценок СПМ входа и выхода системы позволяет получить только
оценку модуля передаточной функции, поскольку информация о
фазах спектралных компонент потеряна.
«Белый» шум.
Случайный процесс типа белого шума является широко
используемой идеализацией реального случайного процесса и
представляет собой -коррелированный случайный процесс с
постоянной спектральной плотностью мощности и бесконечной
дисперсией
(28)
Rxx    S0 0; S xx  f   S0 .
Приближение белого шума можно использовать на практике,
если СПМ шума постоянна в полосе пропускания анализируемой
системы.
Примеры спектров и соответствующих им корреляционных
функций часто встречающихся случайных сигналов приведены на
рис.2. Корреляционные функции R yy   и СПМ S xx  f  сигналов на
выходе линейных систем, на вход которых поступает белый шум с
СПМ имеют седующий вид:
а) К.ф. и СПМ белого шума (см. выше).
б) колебательный контур, f 0 , Q - частота настройки и добротность
S0
S0
S yy  f  

2
2
2
2 2
2
1   f f 0    f Qf 0 
1   f f 0    f Qf 0 




2
2
Ryy     yy
exp  f 0 Qcos2 f 0 ,  yy
 Qf 0 S0
9
в) интегрирующая цепочка,  - постоянная времени
S0
2
2
S yy  f  
Ryy     yy
exp   0 ,  yy
 S0 2 0
2
1   0 f 
г) идеальный фильтр низких частот, F0 - частота среза
S 0 , f  F0 ,
S yy  f   S 0  F0  f   
 0, f  F0
2
2
Ryy     yy
sin c2 F0 ,  yy
 2F0 S0
д) полосовой фильтр, f 0 ,  - частота настройки и полоса
пропускания
S yy  f   S 0    f  f 0      f  f 0 
2
2
Ryy     yy
sin c2  cos2 f 0 ,  yy
 4S 0
10
1,0
Rxx( / Rxx(0)
S (f) / S0
1,0
0,5
а)
0,5
0,0
0,0
0
1
2
3
4
5
0
1
f
2
3

30
1,0
25
0,5
Ryy() / Rxx(0)
Syy(f) / S0*Q
20
15
10
б)
0,0
-0,5
5
0
-1,0
0,0
0,5
1,0
1,5
2,0
2,5
3,0
0
2
4
6
8
12
14
16
18
20
1,0
Ryy() / Ryy(0)
1,0
Syy(f) / S0
10
 * f0
f / f0
0,5
0,0
в)
0,5
0,0
0
2
4
6
0
2
f * 0
4
 / 0
1,0
Ryy() / Ryy(0)
Syy(f) / S0
1,0
0,5
0,5
г)
0,0
-0,5
0
0,0
0
1
2
3
4
2
4
5
6
8
10
f * 0
f / F0
1,0
0,5
Ryy() / Ryy(0)
Sxx(f) / S0
1,0
0,5
д)
0,0
-0,5
0,0
0
1
2
f / f0
3
-1,0
0
2
4
6
8
10
 * 0
Рис. 2. СПМ S yy  f  (слева) и соответствующие им корреляционные функции
R yy   (справа) сигналов на выходе линейных систем (б ( Q  5 ), в, г, д (
  0,25 f 0 ) см. текст), на вход которых поступает белый шум (а).
2.2. Выборочные корреляционные функции (КФ) и
характеристики оценок КФ.
Важную роль в описании характеристик случайных процессов
играет понятие эргодичности. Эргодичность требует стационарности
процесса вплоть до моментов четвертого порядка. Концепция
эргодичности открывает возможность получения характеристик
случайного процесса только по одной его реализации. Реально мы
всегда имеем дело с реализацией конечной длительности, поэтому
вместо истинного значения характеристики случайного процесса мы
получаем ее оценку, которая представляет собой случайную
11
величину. Так, вместо истинной КФ𝑅𝑥𝑥 (𝜏), мы получаем ее оценку
𝑅̂𝑥𝑥 (𝜏), т.е. случайную функцию сдвига времени.
В качестве оценок корреляционной функции R̂xx   случайного
процесса x(t) по выборке длительностью Т можно использовать
следующие определения:
1
Rˆ xx   
T
R xx
   
T
 xt xt   dt ,
(37)
0
1
T 
T 
 xt  xt  dt ,
(38)
0
здесь 𝑇 - длина выборки, по которой производится оценка
корреляционной функции, верхний предел интегрирования
определяется конечной длиной выборки и  T    T .
Оценки 𝑅̂𝑥𝑥 (𝜏) и 𝑅̂ ′ 𝑥𝑥 (𝜏) называются выборочными
корреляционными функциями и при фиксированном значении 
являются случайными величинами. Для описания поведения оценок
используются их основные характеристики: смещение оценки и
дисперсия оценки.
Смещение оценки корреляционной функции B определяется
следующим образом
𝐵 = 𝑅𝑥𝑥 (𝜏) − ⟨𝑅̂𝑥𝑥 (𝜏)⟩,
(39)
здесь R xx   - истинное значение корреляционной функции,
⟨𝑅̂𝑥𝑥 (𝜏)⟩ - усредненная по ансамблю оценка корреляционной
функции. Оценка называется несмещенной, если B=0.
Дисперсия оценки определяется следующим выражением


Var Rˆ xx     R2ˆ
xx
ˆ
ˆ
   Rxx    Rxx  
2
 Rˆ xx2    Rˆ xx   .
2
(40)
Средний квадрат ошибки оценки или среднеквадратичное
смещение оценки определяется выражением
2
⟨[𝑅̂𝑥𝑥 (𝜏) − 𝑅𝑥𝑥 (𝜏) ] ⟩ = 𝑉𝑎𝑟[𝑅̂𝑥𝑥 (𝜏)] + 𝐵2
.
(41)
Оценка называется состоятельной, если ее смещение и дисперсия
стремятся к нулю при стремлении к бесконечности длины выборки
.
lim 𝑉𝑎𝑟[𝑅̂𝑥𝑥 (𝜏)] = 0
(42)
𝑇→∞
Рассмотрим более подробно смещение и дисперсию
корреляционной функции.
12
2.2.1. Смещение оценки КФ.
Получим выражение для среднего значения оценки
R xx   
1
T
T 
T 
0
0

R xx
   
1
xt  xt  dt 
T
1
T 
T 




x t  xt   dt  1   T R xx   ,
xt  xt   dt  Rxx   .
(43)
(43.1)
0
Из (43) следует, что оценкаявляется смещенной для конечной длины
выборки и смещение B   Rxx   T растет с ростом  . В то же время,
оценка, определяемая выражением (38), как следует из (43.1), не
смещена.
2.2.2. Дисперсия оценки корреляционной функции.
Рассмотрим теперь дисперсию оценки корреляционной
функции 𝑅̂′ 𝑥𝑥 (𝜏). Если использовать несмещенную оценку
2
R     R 2   .
(44)
xx


xx

1
2
R xx
 2
  
T1
1
T1 T1

T12 0 0
T1
T1
 xu xu  du   xv xv  dv
0

0
(45)
xu xu   xv  xv   dudv
здесь для сокращения введено обозначение T1=T-||.
Вычисление дисперсии оценки, которая является характеристикой
второго порядка, требует знания момента четвертого порядка. Если
ограничиться рассмотрением нормальных (гауссовых) процессов, то
момент любого порядка может быть выражен через моменты
первого и второго порядков. Так, для момента четвертого порядка
справедлива формула
UVWZ  UV WZ  UW VZ  UZ VW  2 U W V Z .
(46)
Положим для простоты процесс x(t) центрированным и введем
обозначения U=x(u), V=x(u+), W=x(v), Z=x(v+) . Тогда


R xx
  
2

1
T1 T1
   Rxx2   Rxx2 v  u  Rxx v  u  Rxx v  u  dudv
T12 0 0
Откуда выражение для дисперсии оценки (40) с учетом (44)
принимает вид


1
Var R xx
    2
T1
T1 T1
  F v  u, dudv ,
00
где введено обозначение
13
(47)
2
F  v  u,   Rxx
 v  u  Rxx  v  u   Rxx  v  u   .
(48)
Сделаем замену переменных z=v-u, v=v и в выражении (48)
выполним интегрирование по v (изменение областей
интегрирования при переходе от переменных (u,v) к переменным
(z,v) отражено на рис. 3)
T1 T1
0
z  T1
T1
T1
T1
0 0
T1
0
0
z
T1
  F v  u, dudv   F  z, dz  dv   F  z, dz  dv  T1  1  z T1  F  z, dz
v
v
б
)
a)
T1
T1
T1
-T1
T1
z
Рис. 3. Области интегрирования в (49) для переменных u,v (а)
Окончательно, выражение для дисперсии оценки корреляционной
функции принимает вид:
T
1
   
1  z T1 Rxx2 z   Rxx z   Rz   dz .
Var Rˆ xx
(50)

T1 T


1
1
Рассмотрим некоторые следствия. Напомним, что выражение
для дисперсии оценки корреляционной функции является точным в
предположении, что x(t) есть случайныйгауссов процесс. Для
получения дисперсии оценки необходимо знать истинную
корреляционную функцию Rxx(). Если Rxx() интегрируемая
функция, то 𝑅̂ ′𝑥𝑥 (𝜏) является состоятельной оценкой, т.е.
′ (𝜏)=0
lim 𝑅̂𝑥𝑥
𝑇1 →0
Рассмотрим асимптотики, полагая, что длина выборки T, по
которой получена оценка корреляционной функции, удовлетворяет
соотношению 𝑇 >> с , где c - время корреляции процесса 𝑥(𝑡).
а). Полагая =0, получим



2
 c' 4
2
ˆ





Var Rxx 0   Rxx z dz   .
(51)
T 
T
Уменьшить дисперсию оценки корреляционной функции можно
путем ее усреднения по ансамблю, т.е.
̅̅̅̅̅̅̅̅̅̅̅̅̅
′
′ ] = 1 ∑𝑁 𝑉𝑎𝑟[𝑅
̂ 𝑥𝑥
𝑉𝑎𝑟[𝑅̂ 𝑥𝑥
]𝑖
𝑁 𝑖=1
14
б). Если T       c' , то Rxx z 2  Rxx z   Rxx z    и


   
Var Rˆ xx
1
T 

2
 Rxx z dz 

в). Если T       c' , т

 c'
2T   
4
(52)

Var Rxx'     4
(52.1)
′
𝑅𝑥𝑥
τ
T-|τ| = Δ>>τc
τc
τ
T
1
z
′
𝑅𝑥𝑥
T-|τ| = Δ<<τc
Таким образом (см. рис.) для любого   T , дисперсия оценки
корреляционной функции прямо пропорциональна квадрату
дисперсии самого процесса x(t), его времени корреляции  c' , обратно
пропорциональна длине выборки Т и растет с увеличением задержки
 , достигая максимального значения (52.1). Отметим, что
максимальное значение дисперсии не зависит ни от времени
корреляции, ни от длины выборки. При практических вычислениях
обычно ограничиваются максимальной величиной задержки
 max  0,2  0,5T , при этом среднеквадратичное отклонение
корреляционной функции слабо зависит от  для    c . Рис. 4
качественно отражает изменение дисперсии оценки корреляционной
функции с ростом .
Уменьшить дисперсию оценки корреляционной функции
можно путем ее усреднения по ансамблю, т.е.
̅̅̅̅̅̅̅̅̅̅̅̅̅
′
′ ] = 1 ∑𝑁 𝑉𝑎𝑟[𝑅
̂ 𝑥𝑥
𝑉𝑎𝑟[𝑅̂ 𝑥𝑥
]𝑖
𝑁 𝑖=1
15
𝜎4
Рис. 5.
Рис. 4.
Таким образом, измеренная по выборке T выборочная
корреляционная функция 𝑅̂ 𝑥𝑥 (𝜏) будет в развертке по  содержать
случайную компоненту или “бороду” (пунктир на рис. 5) со
среднеквадратичным отклонением порядка  (F0T)-1/2, т.е. полоса
шириной  (F0T)-1/2 образует доверительную область для истинной
корреляционной функции с доверительной вероятностью 68%,
причем ширина «бороды» будет расти с приближением  к T .
2.3. Обнаружение периодического сигнала на фоне шума с
помощью автокорреляции.
Рассмотрим применение автокорреляционной функции для
обнаружения периодического сигнала на фоне помех; определение
формы сигнала не требуется.
Пусть процесс 𝑥(𝑡) представляет собой периодический сигнал
𝑝(𝑡) с основным периодом 𝑇0 погруженный в шум 𝑏(𝑡)с временем
2
корреляции  c и дисперсией  bb
x t   p t   b t  .
(55)
Для простоты будем считать, что сигнал и шум центрированы.
Автокорреляционная функция процесса может быть записана в
следующем виде:
Rxx    R pp    R pb    Rbp    Rbb   .
(56)
Рассмотрим слагаемые в (56). Автокорреляционная функция сигнала
𝑅𝑝𝑝 () есть незатухающая периодическая функция. Поскольку
сигнал и шум независимы то 𝑅𝑝𝑏 () = 𝑅𝑝𝑝 () = 0.
Автокорреляционная функция шума 𝑅𝑏𝑏 стремится к нулю с ростом
. Следовательно, по виду автокорреляционной функции 𝑅𝑥𝑥 () для
16
достаточно больших значениях    c можно судить о наличии или
отсутствии сигнала в анализируемом процессе𝑅𝑥𝑥() ≅ 𝑅𝑝𝑝().
Введем отношение сигнал/шум по выборкеin, которое
определим как отношение мощности сигнала к мощности шума
2
in  Rpp 0 Rbb 0   pp
 bb2 .
(57)
Если бы мы могли измерить истинное значение 𝑅𝑥𝑥(), то выбрав
достаточно большое  можно было бы обнаружить сигнал для
любого 𝑖𝑛 . Однако, реально мы имеем дело с конечной выборкой
процесса 𝑥(𝑡) и получаем выборочную корреляционную функцию
′
или оценку 𝑅̂ 𝑥𝑥
, которая содержит флуктуационную компоненту,
описываемую дисперсией оценки корреляционной функции.
′
𝑉𝑎𝑟[𝑅̂ 𝑥𝑥
]. Рассмотрим часть выборочной корреляционной функции
 c    T , которая будет представлять собой суперпозицию
периодической корреляционной функции сигнала и шумовую
компоненту, обусловленную дисперсией корреляционной
функции.Как было показано ранее (см., например, (51)), дисперсия
оценки корреляционной функции не существенно зависит
от   T  . Ведем отношение сигнал/шум по выборочной
корреляционной функции 𝒐𝒖𝒕 . Мощность «сигнала» в выборочной
корреляционной функции есть дисперсия корреляционной функции
T
1
2
2
сигнала p t  , т.е.  Rˆ pp   Rpp  d . Мощность «шума» в
T0
2
выборочной корреляционной функции есть ее дисперсия  Rˆ xx .
Таким образом
out   R2ˆ
pp
 R2ˆ .
xx
(58)
С ростом длины выборки T дисперсия выборочной корреляционной
функции на анализируемом участке будет уменьшаться и,
следовательно, будет расти out .
Эффективность использования корреляционной функции для
решения поставленной задачи можно оценить следующим
отношением
G  out in .
(59)
Рассмотрим на конкретном примередля  c    T , чем
определяется эффективоность метода. Пусть сигнал (гармоническая
функция частоты f0иамплитуды A) погружен в низкочастотный шум
с прямоугольным спектром (см. рис. 2д) (Rbb()=2sinc(2B)). Тогда
x t   A cos 2 f 0 t   b t  ,
(60)
17
A2
in  2
Для выборки
2
В предположении  c    T , где  c  1 B , выражение для
дисперсии оценки корреляционной функции может быть
представлено в виде
 R
xx
 4  A2 


 1
2BT   2 
(62)
и не зависит от  .
Отметим, что в случае отсутствия сигнала выражение (62) переходит
в (52), а в отсутствии шума 𝜎𝑅̂ 𝑥𝑥 =0.
Учитывая (58) и (62), отношение сигнал/шум по выборочной
корреляционной функции out может быть записано в виде
A4 4 4
in2
out  2 BT 2 2
 2 BT
,
(63)
A  1
2in  1
а выражение для эффективности (59) принимает вид

G  2 BT

in
2in  1 .
(63)
На рис. 6 представлен график зависимости эффективности метода G
от отношения сигнал/шум по выборке in. Практически наиболее
интересен случай in<<1, при этом
G  2 BT in , in  1,
т.е. эффективность прямо пропорциональна отношению сигнал/шум
по выборке.
G
2BT
0,33BT
ηin
1
Рис. 6. Зависимость эффективности метода
от
Для любого
фиксированного in эффективность G может быть сделана сколь
угодно большой, если использовать выборку соответствующей
длины. Отметим, что с увеличением ширины полосы частот шума B
18
его время корреляции уменьшается, и, как следствие, требуемая
длина выборки может быть уменьшена. В случае in>>1 отношение
сигнал/шум по корреляционной функции линейно зависит от in и
эффективность метода не зависит от in , а определяется только
длиной выборки и полосой шума
G  BT ,  in  1 .
Сделаем несколько замечаний по поводу вычисления функции
взаимной корреляции для бездисперсного сигнала c постоянной
задержкой 𝜏0 . Пусть на вход канала поступает шум 𝑥(𝑡) с
постоянной СПМ в ограниченной полосе частот [𝑓0 − 𝛿𝑓, 𝑓0 + 𝛿𝑓] ,
тогда 𝑅𝑥𝑥 (𝜏) = 𝑠𝑖𝑛𝑐(2𝜋𝛿𝑓𝑡)𝑐𝑜𝑠(2𝜋𝑓0 𝑡) и 𝑅𝑥𝑦 (𝜏) = 𝐾𝑅𝑥𝑥 (𝜏 − 𝜏0 ),
т.е. по сдвигу можно определить задержку распространения и при
известной скорости длину канала или при известной длине –
скорость распространения. Мы гворили на языке истинный
корреляционных функций, в действительности будем иметь дело с
оценками и их дисперсиями, величину которых можно уменьшить
выполнив усреднение по ансамблю. Поскольку «ширина»
корреляционной функции обратно пропорциональна ширине полосы
частот сигнала, то чем шире полоса частот, тем иеньшая задержка
𝜏0 может быть зафиксирована (см. демонстрацию).
19