Остаточная дисперсия для уравнения регрессии

R — значит регрессия

Статистика в последнее время получила мощную PR поддержку со стороны более новых и шумных дисциплин — Машинного Обучения и Больших Данных. Тем, кто стремится оседлать эту волну необходимо подружится с уравнениями регрессии. Желательно при этом не только усвоить 2-3 приемчика и сдать экзамен, а уметь решать проблемы из повседневной жизни: найти зависимость между переменными, а в идеале — уметь отличить сигнал от шума.

Для этой цели мы будем использовать язык программирования и среду разработки R, который как нельзя лучше приспособлен к таким задачам. Заодно, проверим от чего зависят рейтинг Хабрапоста на статистике собственных статей.

Введение в регрессионный анализ

Если имеется корреляционная зависимость между переменными y и x , возникает необходимость определить функциональную связь между двумя величинами. Зависимость среднего значения называется регрессией y по x .

Основу регрессионного анализа составляет метод наименьших квадратов (МНК), в соответствии с которым в качестве уравнения регресии берется функция такая, что сумма квадратов разностей минимальна.

Карл Гаусс открыл, или точнее воссоздал, МНК в возрасте 18 лет, однако впервые результаты были опубликованы Лежандром в 1805 г. По непроверенным данным метод был известен еще в древнем Китае, откуда он перекочевал в Японию и только затем попал в Европу. Европейцы не стали делать из этого секрета и успешно запустили в производство, обнаружив с его помощью траекторию карликовой планеты Церес в 1801 г.

Вид функции , как правило, определен заранее, а с помощью МНК подбираются оптимальные значения неизвестных параметров. Метрикой рассеяния значений вокруг регрессии является дисперсия.

• k — число коэффициентов в системе уравнений регрессии.

Чаще всего используется модель линейной регрессии, а все нелинейные зависимости приводят к линейному виду с помощью алгебраических ухищрений, различных преобразования переменных y и x .

Линейная регрессия

Уравнения линейной регрессии можно записать в виде

В матричном виде это выгладит

• y — зависимая переменная;
• x — независимая переменная;
• β — коэффициенты, которые необходимо найти с помощью МНК;
• ε — погрешность, необъяснимая ошибка и отклонение от линейной зависимости;

Случайная величина может быть интерпретирована как сумма из двух слагаемых:

• — полная дисперсия (TSS).
• — объясненная часть дисперсии (ESS).
• — остаточная часть дисперсии (RSS).

Еще одно ключевое понятие — коэффициент корреляции R 2 .

Ограничения линейной регрессии

Для того, чтобы использовать модель линейной регрессии необходимы некоторые допущения относительно распределения и свойств переменных.

1. Линейность, собственно. Увеличение, или уменьшение вектора независимых переменных в k раз, приводит к изменению зависимой переменной также в k раз.
2. Матрица коэффициентов обладает полным рангом, то есть векторы независимых переменных линейно независимы.
3. Экзогенность независимых переменных — . Это требование означает, что математическое ожидание погрешности никоим образом нельзя объяснить с помощью независимых переменных.
4. Однородность дисперсии и отсутствие автокорреляции. Каждая ε_i обладает одинаковой и конечной дисперсией σ 2 и не коррелирует с другой ε_i. Это ощутимо ограничивает применимость модели линейной регрессии, необходимо удостовериться в том, что условия соблюдены, иначе обнаруженная взаимосвязь переменных будет неверно интерпретирована.

Как обнаружить, что перечисленные выше условия не соблюдены? Ну, во первых довольно часто это видно невооруженным глазом на графике.

Неоднородность дисперсии

При возрастании дисперсии с ростом независимой переменной имеем график в форме воронки.

Нелинейную регрессии в некоторых случая также модно увидеть на графике довольно наглядно.

Тем не менее есть и вполне строгие формальные способы определить соблюдены ли условия линейной регрессии, или нарушены.

• Автокорреляция проверяется статистикой Дарбина-Уотсона (0 ≤ d ≤ 4). Если автокорреляции нет, то значения критерия d≈2, при позитивной автокорреляции d≈0, при отрицательной — d≈4.
• Неоднородность дисперсии — Тест Уайта, , при \chi<^2>_<\alpha;m-1>$» data-tex=»inline»/> нулевая гипотеза отвергается и констатируется наличие неоднородной дисперсии. Используя ту же можно еще применить тест Бройша-Пагана.
• Мультиколлинеарность — нарушения условия об отсутствии взаимной линейной зависимости между независимыми переменными. Для проверки часто используют VIF-ы (Variance Inflation Factor).

В этой формуле — коэффициент взаимной детерминации между и остальными факторами. Если хотя бы один из VIF-ов > 10, вполне резонно предположить наличие мультиколлинеарности.

Почему нам так важно соблюдение всех выше перечисленных условий? Все дело в Теореме Гаусса-Маркова, согласно которой оценка МНК является точной и эффективной лишь при соблюдении этих ограничений.

Как преодолеть эти ограничения

Нарушения одной или нескольких ограничений еще не приговор.

1. Нелинейность регрессии может быть преодолена преобразованием переменных, например через функцию натурального логарифма ln .
2. Таким же способом возможно решить проблему неоднородной дисперсии, с помощью ln , или sqrt преобразований зависимой переменной, либо же используя взвешенный МНК.
3. Для устранения проблемы мультиколлинеарности применяется метод исключения переменных. Суть его в том, что высоко коррелированные объясняющие переменные устраняются из регрессии, и она заново оценивается. Критерием отбора переменных, подлежащих исключению, является коэффициент корреляции. Есть еще один способ решения данной проблемы, который заключается в замене переменных, которым присуща мультиколлинеарность, их линейной комбинацией. Этим весь список не исчерпывается, есть еще пошаговая регрессия и другие методы.

К сожалению, не все нарушения условий и дефекты линейной регрессии можно устранить с помощью натурального логарифма. Если имеет место автокорреляция возмущений к примеру, то лучше отступить на шаг назад и построить новую и лучшую модель.

Линейная регрессия плюсов на Хабре

Итак, довольно теоретического багажа и можно строить саму модель.
Мне давно было любопытно от чего зависит та самая зелененькая цифра, что указывает на рейтинг поста на Хабре. Собрав всю доступную статистику собственных постов, я решил прогнать ее через модель линейно регрессии.

Загружает данные из tsv файла.

• points — Рейтинг статьи
• reads — Число просмотров.
• comm — Число комментариев.
• faves — Добавлено в закладки.
• fb — Поделились в социальных сетях (fb + vk).
• bytes — Длина в байтах.

Вопреки моим ожиданиям наибольшая отдача не от количества просмотров статьи, а от комментариев и публикаций в социальных сетях. Я также полагал, что число просмотров и комментариев будет иметь более сильную корреляцию, однако зависимость вполне умеренная — нет надобности исключать ни одну из независимых переменных.

Теперь собственно сама модель, используем функцию lm .

В первой строке мы задаем параметры линейной регрессии. Строка points

. определяет зависимую переменную points и все остальные переменные в качестве регрессоров. Можно определить одну единственную независимую переменную через points

reads , набор переменных — points

Перейдем теперь к расшифровке полученных результатов.

• Intercept — Если у нас модель представлена в виде , то тогда — точка пересечения прямой с осью координат, или intercept .
• R-squared — Коэффициент детерминации указывает насколько тесной является связь между факторами регрессии и зависимой переменной, это соотношение объясненных сумм квадратов возмущений, к необъясненным. Чем ближе к 1, тем ярче выражена зависимость.
• Adjusted R-squared — Проблема с в том, что он по любому растет с числом факторов, поэтому высокое значение данного коэффициента может быть обманчивым, когда в модели присутствует множество факторов. Для того, чтобы изъять из коэффициента корреляции данное свойство был придуман скорректированный коэффициент детерминации .
• F-statistic — Используется для оценки значимости модели регрессии в целом, является соотношением объяснимой дисперсии, к необъяснимой. Если модель линейной регрессии построена удачно, то она объясняет значительную часть дисперсии, оставляя в знаменателе малую часть. Чем больше значение параметра — тем лучше.
• t value — Критерий, основанный на t распределении Стьюдента . Значение параметра в линейной регрессии указывает на значимость фактора, принято считать, что при t > 2 фактор является значимым для модели.
• p value — Это вероятность истинности нуль гипотезы, которая гласит, что независимые переменные не объясняют динамику зависимой переменной. Если значение p value ниже порогового уровня (.05 или .01 для самых взыскательных), то нуль гипотеза ложная. Чем ниже — тем лучше.

Можно попытаться несколько улучшить модель, сглаживая нелинейные факторы: комментарии и посты в социальных сетях. Заменим значения переменных fb и comm их степенями.

Проверим значения параметров линейной регрессии.

Как видим в целом отзывчивость модели возросла, параметры подтянулись и стали более шелковистыми , F-статистика выросла, так же как и скорректированный коэффициент детерминации .

Проверим, соблюдены ли условия применимости модели линейной регрессии? Тест Дарбина-Уотсона проверяет наличие автокорреляции возмущений.

И напоследок проверка неоднородности дисперсии с помощью теста Бройша-Пагана.

В заключение

Конечно наша модель линейной регрессии рейтинга Хабра-топиков получилось не самой удачной. Нам удалось объяснить не более, чем половину вариативности данных. Факторы надо чинить, чтобы избавляться от неоднородной дисперсии, с автокорреляцией тоже непонятно. Вообще данных маловато для сколь-нибудь серьезной оценки.

Но с другой стороны, это и хорошо. Иначе любой наспех написанный тролль-пост на Хабре автоматически набирал бы высокий рейтинг, а это к счастью не так.

Задача №3. Расчёт параметров регрессии и корреляции с помощью Excel

По территориям региона приводятся данные за 200Х г.

Задание:

1. Постройте поле корреляции и сформулируйте гипотезу о форме связи.

2. Рассчитайте параметры уравнения линейной регрессии

.

3. Оцените тесноту связи с помощью показателей корреляции и детерминации.

4. Дайте с помощью среднего (общего) коэффициента эластичности сравнительную оценку силы связи фактора с результатом.

5. Оцените с помощью средней ошибки аппроксимации качество уравнений.

6. Оцените с помощью F-критерия Фишера статистическую надёжность результатов регрессионного моделирования.

7. Рассчитайте прогнозное значение результата, если прогнозное значение фактора увеличится на 10% от его среднего уровня. Определите доверительный интервал прогноза для уровня значимости .

8. Оцените полученные результаты, выводы оформите в аналитической записке.

Решение:

Решим данную задачу с помощью Excel.

1. Сопоставив имеющиеся данные х и у, например, ранжировав их в порядке возрастания фактора х, можно наблюдать наличие прямой зависимости между признаками, когда увеличение среднедушевого прожиточного минимума увеличивает среднедневную заработную плату. Исходя из этого, можно сделать предположение, что связь между признаками прямая и её можно описать уравнением прямой. Этот же вывод подтверждается и на основе графического анализа.

Чтобы построить поле корреляции можно воспользоваться ППП Excel. Введите исходные данные в последовательности: сначала х, затем у.

Выделите область ячеек, содержащую данные.

Затем выберете: Вставка / Точечная диаграмма / Точечная с маркерами как показано на рисунке 1.

Рисунок 1 Построение поля корреляции

Анализ поля корреляции показывает наличие близкой к прямолинейной зависимости, так как точки расположены практически по прямой линии.

2. Для расчёта параметров уравнения линейной регрессии
воспользуемся встроенной статистической функцией ЛИНЕЙН.

1) Откройте существующий файл, содержащий анализируемые данные;
2) Выделите область пустых ячеек 5×2 (5 строк, 2 столбца) для вывода результатов регрессионной статистики.
3) Активизируйте Мастер функций: в главном меню выберете Формулы / Вставить функцию.
4) В окне Категория выберете Статистические, в окне функция – ЛИНЕЙН. Щёлкните по кнопке ОК как показано на Рисунке 2;

Рисунок 2 Диалоговое окно «Мастер функций»

5) Заполните аргументы функции:

Известные значения у – диапазон, содержащий данные результативного признака;

Известные значения х – диапазон, содержащий данные факторного признака;

Константа – логическое значение, которое указывает на наличие или на отсутствие свободного члена в уравнении; если Константа = 1, то свободный член рассчитывается обычным образом, если Константа = 0, то свободный член равен 0;

Статистика – логическое значение, которое указывает, выводить дополнительную информацию по регрессионному анализу или нет. Если Статистика = 1, то дополнительная информация выводится, если Статистика = 0, то выводятся только оценки параметров уравнения.

Щёлкните по кнопке ОК;

Рисунок 3 Диалоговое окно аргументов функции ЛИНЕЙН

6) В левой верхней ячейке выделенной области появится первый элемент итоговой таблицы. Чтобы раскрыть всю таблицу, нажмите на клавишу , а затем на комбинацию клавиш + + .

Дополнительная регрессионная статистика будет выводиться в порядке, указанном в следующей схеме:

Остаточная сумма квадратов

Рисунок 4 Результат вычисления функции ЛИНЕЙН

Получили уровнение регрессии:

Делаем вывод: С увеличением среднедушевого прожиточного минимума на 1 руб. среднедневная заработная плата возрастает в среднем на 0,92 руб.

3. Коэффициент детерминации означает, что 52% вариации заработной платы (у) объясняется вариацией фактора х – среднедушевого прожиточного минимума, а 48% — действием других факторов, не включённых в модель.

По вычисленному коэффициенту детерминации можно рассчитать коэффициент корреляции: .

Связь оценивается как тесная.

4. С помощью среднего (общего) коэффициента эластичности определим силу влияния фактора на результат.

Для уравнения прямой средний (общий) коэффициент эластичности определим по формуле:

Средние значения найдём, выделив область ячеек со значениями х, и выберем Формулы / Автосумма / Среднее, и то же самое произведём со значениями у.

Рисунок 5 Расчёт средних значений функции и аргумент

Таким образом, при изменении среднедушевого прожиточного минимума на 1% от своего среднего значения среднедневная заработная плата изменится в среднем на 0,51%.

С помощью инструмента анализа данных Регрессия можно получить:
— результаты регрессионной статистики,
— результаты дисперсионного анализа,
— результаты доверительных интервалов,
— остатки и графики подбора линии регрессии,
— остатки и нормальную вероятность.

Порядок действий следующий:

1) проверьте доступ к Пакету анализа. В главном меню последовательно выберите: Файл/Параметры/Надстройки.

2) В раскрывающемся списке Управление выберите пункт Надстройки Excel и нажмите кнопку Перейти.

3) В окне Надстройки установите флажок Пакет анализа, а затем нажмите кнопку ОК.

• Если Пакет анализа отсутствует в списке поля Доступные надстройки, нажмите кнопку Обзор, чтобы выполнить поиск.

• Если выводится сообщение о том, что пакет анализа не установлен на компьютере, нажмите кнопку Да, чтобы установить его.

4) В главном меню последовательно выберите: Данные / Анализ данных / Инструменты анализа / Регрессия, а затем нажмите кнопку ОК.

5) Заполните диалоговое окно ввода данных и параметров вывода:

Входной интервал Y – диапазон, содержащий данные результативного признака;

Входной интервал X – диапазон, содержащий данные факторного признака;

Метки – флажок, который указывает, содержит ли первая строка названия столбцов или нет;

Константа – ноль – флажок, указывающий на наличие или отсутствие свободного члена в уравнении;

Выходной интервал – достаточно указать левую верхнюю ячейку будущего диапазона;

6) Новый рабочий лист – можно задать произвольное имя нового листа.

Затем нажмите кнопку ОК.

Рисунок 6 Диалоговое окно ввода параметров инструмента Регрессия

Результаты регрессионного анализа для данных задачи представлены на рисунке 7.

Рисунок 7 Результат применения инструмента регрессия

5. Оценим с помощью средней ошибки аппроксимации качество уравнений. Воспользуемся результатами регрессионного анализа представленного на Рисунке 8.

Рисунок 8 Результат применения инструмента регрессия «Вывод остатка»

Составим новую таблицу как показано на рисунке 9. В графе С рассчитаем относительную ошибку аппроксимации по формуле:

Рисунок 9 Расчёт средней ошибки аппроксимации

Средняя ошибка аппроксимации рассчитывается по формуле:

Качество построенной модели оценивается как хорошее, так как не превышает 8 – 10%.

6. Из таблицы с регрессионной статистикой (Рисунок 4) выпишем фактическое значение F-критерия Фишера:

Поскольку при 5%-ном уровне значимости, то можно сделать вывод о значимости уравнения регрессии (связь доказана).

8. Оценку статистической значимости параметров регрессии проведём с помощью t-статистики Стьюдента и путём расчёта доверительного интервала каждого из показателей.

Выдвигаем гипотезу Н₀ о статистически незначимом отличии показателей от нуля:

.

для числа степеней свободы

На рисунке 7 имеются фактические значения t-статистики:

t-критерий для коэффициента корреляции можно рассчитать двумя способами:

I способ:

где – случайная ошибка коэффициента корреляции.

Данные для расчёта возьмём из таблицы на Рисунке 7.

II способ:

Фактические значения t-статистики превосходят табличные значения:

Поэтому гипотеза Н₀ отклоняется, то есть параметры регрессии и коэффициент корреляции не случайно отличаются от нуля, а статистически значимы.

Доверительный интервал для параметра a определяется как

Для параметра a 95%-ные границы как показано на рисунке 7 составили:

Доверительный интервал для коэффициента регрессии определяется как

Для коэффициента регрессии b 95%-ные границы как показано на рисунке 7 составили:

Анализ верхней и нижней границ доверительных интервалов приводит к выводу о том, что с вероятностью параметры a и b, находясь в указанных границах, не принимают нулевых значений, т.е. не являются статистически незначимыми и существенно отличны от нуля.

7. Полученные оценки уравнения регрессии позволяют использовать его для прогноза. Если прогнозное значение прожиточного минимума составит:

Тогда прогнозное значение прожиточного минимума составит:

Ошибку прогноза рассчитаем по формуле:

где

Дисперсию посчитаем также с помощью ППП Excel. Для этого:

1) Активизируйте Мастер функций: в главном меню выберете Формулы / Вставить функцию.

2) В окне Категория выберете Статистические, в окне функция – ДИСП.Г. Щёлкните по кнопке ОК.

3) Заполните диапазон, содержащий числовые данные факторного признака. Нажмите ОК.

Рисунок 10 Расчёт дисперсии

Получили значение дисперсии

Для подсчёта остаточной дисперсии на одну степень свободы воспользуемся результатами дисперсионного анализа как показано на Рисунке 7.

Доверительные интервалы прогноза индивидуальных значений у при с вероятностью 0,95 определяются выражением:

Интервал достаточно широк, прежде всего, за счёт малого объёма наблюдений. В целом выполненный прогноз среднемесячной заработной платы оказался надёжным.

Условие задачи взято из: Практикум по эконометрике: Учеб. пособие / И.И. Елисеева, С.В. Курышева, Н.М. Гордеенко и др.; Под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2003. – 192 с.: ил.

Линейная парная регрессия

1. Линейная парная регрессия

Корреляционная зависимость может быть представлена в виде

В регрессионном анализе рассматривается односторонняя зависимость случайной переменной Y от одной (или нескольких) неслучайной независимой переменной Х . Такая зависимость Y от X (иногда ее называют регрессионной ) может быть также представлена в виде модельного уравнения регрессии Y от X (1). При этом зависимую переменную Y называют также функцией отклика (объясняемой, выходной, результирующей, эндогенной переменной, результативным признаком), а независимую переменную Х – объясняющей (входной, предсказывающей, предикторной, экзогенной переменной, фактором, регрессором, факторным признаком).

Для точного описания уравнения регрессии необходимо знать условный закон распределения зависимой переменной Y при условии, что переменная Х примет значение х , т.е. Х = х . В статистической практике такую информацию получить, как правило, не удается, так как обычно исследователь располагает лишь выборкой пар значений (x_i , y_i ) ограниченного объема n . В этом случае речь может идти об оценке (приближенном выражении, аппроксимации) по выборке функции регрессии. Такой оценкой является выборочная линия (кривая) регрессии :

= ( x , b ₀ , b ₁ , …, b_p ) (2)

где — условная (групповая) средняя переменной Y при фиксированном значении переменной X = x ; b ₀ , b ₁ , …, b_p – параметры кривой.

Уравнение (2) называется выборочным уравнением регрессии .

В дальнейшем рассмотрим линейную модель и представим ее в виде

= b ₀ + b ₁ x . (3)

Для решения поставленной задачи определим формулы расчета неизвестных параметров уравнения линейной регрессии (b ₀ , b ₁ ).

Согласно методу наименьших квадратов (МНК) неизвестные параметры b ₀ и b ₁ выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значенийy_i от значений , найденных по уравнению регрессии (3), была минимальной:

. (4)

На основании необходимого условия экстремума функции двух переменных S = S (b ₀ , b ₁ ) (4) приравняем к нулю ее частные производные, т.е.

откуда после преобразований получим систему нормальных уравнений для определения параметров линейной регрессии:

(5)

Теперь, разделив обе части уравнений (5) на n , получим систему нормальных уравнений в следующем виде:

(6)

где соответствующие средние определяются по формулам:

; (7) ; (9)

; (8) . (10)

Решая систему (6), найдем

, (11)

где — выборочная дисперсия переменной Х :

, (12)

— выборочный корреляционный момент или выборочная ковариация:

. (13)

Коэффициент b ₁ называется выборочным коэффициентом регрессии Y по X .

Коэффициент регрессии Y по X показывает, на сколько единиц в среднем изменяется переменная Y при увеличении переменной X на одну единицу.

Отметим, что из уравнения регрессии следует, что линия регрессии проходит через точку , т.е. = b ₀ + b _{1 .}

На первый взгляд, подходящим измерителем тесноты связи Y от Х является коэффициент регрессии b ₁ . Однако b ₁ зависит от единиц измерения переменных. Очевидно, что для «исправления» b ₁ как показателя тесноты связи нужна такая стандартная система единиц измерения, в которой данные по различным характеристикам оказались бы сравнимы между собой. Если представить уравнение в эквивалентном виде:

. (14)

В этой системе величина называется выборочный коэффициент корреляции и является показателем тесноты связи.

Если r > 0 (b ₁ > 0), то корреляционная связь между переменными называется прямой, если r 2 . (20)

4. Возмущения e_i и e_j не коррелированны:

5. Возмущения e_i есть нормально распределенная случайная величина.

Оценкой модели (18) по выборке является уравнение регрессии
= b ₀ + b ₁ x . Параметры этого уравнения b ₀ и b ₁ определяются на основе МНК. Воздействие неучтенных случайных факторов и ошибок наблюдений в модели (18) определяется с помощью дисперсии возмущений (ошибок) или остаточной дисперсии (см. табл. 1).

Теорема Гаусса — Маркова . Если регрессионная модель
y_i = b₀ + b₁ x_i + e_i удовлетворяет предпосылкам 1-5, то оценкиb ₀ , b ₁ имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.

Таким образом, оценки b ₀ и b ₁ в определенном смысле являются наиболее эффективными линейными оценками параметров b₀ и b₁ .

Проверить значимость уравнения регрессии – значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной. Для проверки значимости выдвигают нулевую гипотезу о надежности параметров. Вспомним основные понятия и определения необходимые для анализа значимости параметров регрессии.

Статистическая гипотеза – это предположение о свойствах случайных величин или событий, которое мы хотим проверить по имеющимся данным.

Нулевая гипотеза Н ₀ – это основное проверяемое предположение, которое обычно формулируется как отсутствие различий, отсутствие влияние фактора, отсутствие эффекта, равенство нулю значений выборочных характеристик и т.п.

Другое проверяемое предположение (не всегда строго противоположное или обратное первому) называется конкурирующей или альтернативной гипотезой.

Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость проверить ее. Так как проверку производят статистическими методами, то данная проверка называется статистической.

При проверке статистических гипотез возможны ошибки (ошибочные суждения) двух видов:

— можно отвергнуть нулевую гипотезу, когда она на самом деле верна (так называемая ошибка первого рода );

— можно принять нулевую гипотезу, когда она на самом деле не верна (так называемая ошибка второго рода ).

Допустимая вероятность ошибки первого рода может быть равна 5% или 1% (0,05 или 0,01).

Уровень значимости – это вероятность ошибки первого рода при принятии решения (вероятность ошибочного отклонения нулевой гипотезы).

Альтернативные гипотезы принимаются тогда и только тогда, когда опровергается нулевая гипотеза. Это бывает в случаях, когда различия в средних арифметических экспериментальной и контрольной групп настолько значимы (статистически достоверны), что риск ошибки отвергнуть нулевую гипотезу и принять альтернативную не превышает одного из трех принятых уровней значимости статистического вывода:

1-йуровень — 5% (a = 0,05), где допускается риск ошибки в выводе в пяти случаях из ста теоретически возможных таких же экспериментов при строго случайном отборе для каждого эксперимента;

2-й уровень — 1% (a = 0,01), т. е. соответственно допускается риск ошибиться только в одном случае из ста;

3-й уровень — 0,1% (a = 0,01), т. е. допускается риск ошибиться только в одном случае из тысячи.

Последний уровень значимости предъявляет очень высокие требования к обоснованию достоверности результатов эксперимента и потому редко используется. В эконометрических исследованиях, не нуждающихся в очень высоком уровне достоверности, представляется разумным принять 5%-й уровень значимости.

Статистика критерия — некоторая функция от исходных данных, по значению которой проверяется нулевая гипотеза. Чаще всего статистика критерия является числовой функцией.

Всякое правило, на основе которого отклоняется или принимается нулевая гипотеза, называется критерием проверки данной гипотезы. Статистический критерий – это случайная величина, которая служит для проверки статистических гипотез.

Критическая область – совокупность значений критерия, при котором нулевую гипотезу отвергают. Область принятия нулевой гипотезы (область допустимых значений) – совокупность значений критерия, при котором нулевую гипотезу принимают. При справедливости нулевой гипотезы вероятность того, что статистика критерия попадает в область принятия нулевой гипотезы должна быть равна 1.

Процедура проверки нулевой гипотезы в общем случае включает следующие этапы:

— задается допустимая вероятность ошибки первого рода (a = 0,05);

— выбирается статистика критерия;

— ищется область допустимых значений;

— по исходным данным вычисляется значение статистики;

— если статистика критерияпринадлежит области принятия нулевой гипотезы, то нулевая гипотеза принимается (корректнее говоря, делается заключение, что исходные данные не противоречат нулевой гипотезе), а в противном случае нулевая гипотеза отвергается и принимается альтернативная гипотеза. Это основной принцип проверки всех статистических гипотез.

В современных эконометрических программах (например, EViews) используются не стандартные уровни значимости, а уровни, подсчитываемые непосредственно в процессе работы с соответствующим статистическим методом. Эти уровни, обозначенные обычно Prob , могут иметь различное числовое выражение в интервале от 0 до 1, например, 0,7, 0,23 или 0,012. Понятно, что в первых двух случаях, полученные уровни значимости слишком велики и говорить о том, что результат значим нельзя. В последнем случае результаты значимы на уровне двенадцати тысячных.

Если вычисленное значение Р rob превосходит выбранный уровень Р rob _кр , то принимается нулевая гипотеза, а в противном случае — альтернативная гипотеза. Чем меньше вычисленное значение Р rob , тем более исходные данные противоречат нулевой гипотезе.

Число степеней свободы у какого-либо параметра определяют как размер выборки, по которой рассчитан данный параметр, минус количество выбранных переменных.

Величина W называется мощностью критерия и представляет собой вероятность отклонения неверной нулевой гипотезы, т.е. вероятность правильного решения. Мощность критерия – вероятность попадания критерия в критическую область при условии, что справедлива альтернативная гипотеза. Чем больше W , тем вероятность ошибки второго рода меньше.

Коэффициент регрессии (b ₁ ) является случайной величиной. Отсюда после вычисления возникает необходимость проверки гипотезы о значимости полученного значения. Выдвигаем нулевую гипотеза (Н ₀ ) о равенстве нулю коэффициента регрессии (Н ₀ :b ₁ = 0) против альтернативной гипотезы (Н ₁ ) о неравенстве нулю коэффициента регрессии (Н ₁ :b ₁ ¹ 0). Для проверки гипотезы Н ₀ против альтернативы используется t -статистика, которая имеет распределение Стьюдента с (n — 2) степенями свободы (парная линейная регрессия).

Коэффициент регрессии надежно отличается от нуля (отвергается нулевая гипотеза Н₀ ), если t _набл > t _{a ; n -2} . В этом случае вероятность нулевой гипотезы (Prob . ) будет меньше выбранного уровня значимости. t _{a ; n -2} — критическая точка, определяемая по математико-статистическим таблицам.

Проверка значимости уравнения регрессии производится на основе дисперсионного анализа.

Согласно основной идее дисперсионного анализа

(22)

где Q – общая сумма квадратов отклонений зависимой переменной от средней, а Q_R и Q_e – соответственно сумма квадратов, обусловленная регрессией, и остаточная сумма квадратов, характеризующая влияние неучтенных факторов.

Схема дисперсионного анализа имеет вид, представленный в табл. 1.

Средние квадраты и s 2 (табл. 1) представляют собой несмещенные оценки дисперсий зависимой переменной, обусловленных соответственно регрессией или объясняющей переменной Х и воздействием неучтенных случайных факторов и ошибок; m – число оцениваемых параметров уравнения регрессии; п – число наблюдений.

При отсутствии линейной зависимости между зависимой и объясняющими(ей) переменными случайные величины и имеют c 2 -распределение соответственно с т – 1 и п – т степенями свободы.

Компоненты дисперсии	Сумма квадратов	Число степеней свободы	Средние квадраты
Регрессия		m – 1
Остаточная		n – m
Общая		n – 1

Поэтому уравнение регрессии значимо на уровне a, если фактически наблюдаемое значение статистики

, (24)

где — табличное значение F -критерия Фишера-Снедекора, определяемое на уровне значимости a при k ₁ = m – 1 и k ₂ = n – m степенях свободы.

Учитывая смысл величин и s 2 , можно сказать, что значение F показывает, в какой мере регрессия лучше оценивает значение зависимой переменной по сравнению с ее средней.

Для парной линейно регрессии т = 2, и уравнение регрессии значимо на уровне a (отвергается нулевая гипотеза), если

. (25)

Следует отметить, что значимость уравнения парной линейной регрессии может быть проведена и другим способом, если оценить значимость коэффициента регрессии b ₁ , который имеет
t -распределение Стьюдента с k = n – 2 степенями свободы.

Уравнение парной регрессии или коэффициент регрессии b ₁ значимы на уровне a (иначе – гипотеза Н ₀ о равенстве параметра b ₁ нулю, т.е.
Н ₀ :b ₁ = 0, отвергается), если фактически наблюдаемое значение статистики

(26)

Коэффициент корреляции r значим на уровне a (Н ₀ : r = 0), если

. (27)

Одной из наиболее эффективных оценок адекватности регрессионной модели, мерой качества уравнения регрессии, характеристикой прогностической силы анализируемой регрессионной модели является коэффициент детерминации , определяемый по формуле:

. (28)

Величина R 2 показывает, какая часть (доля) вариации зависимой переменной обусловлена вариацией объясняющей переменной.

В случае парной линейной регрессионной модели коэффициент детерминации равен квадрату корреляции, т.е. R 2 = r 2 .

Доверительный интервал для индивидуальных значений зависимой переменной .

—t _{1 – a ; n — 2} × £ £ + t _{1 — a ; n — 2} × , (29)

где — оценка дисперсии индивидуальных значений у ₀ при х = х ₀ .

Доверительный интервал для параметров регрессионной модели .

(30)

По 28 предприятиям концерна изучается зависимость дневной выработки (ед.) у от уровня механизации труда (%) х по следующим данным (табл. 2).

При анализе статистических зависимостей широко используются графические методы, которые задают направление его дальнейшего анализа. В Excel для этого можно использовать средство Мастер диаграмм . Для создания диаграммы необходимо выделить данные, запустить мастер диаграмм, выбрать тип и вид диаграммы (для нашего примера тип диаграммы – Точечная), выбрать и уточнить ориентацию диапазона данных и ряда, настроить параметры диаграммы.

Для описания закономерностей в исследуемой выборке наблюдений строится линия тренда .

Для добавления линии тренда в диаграмму необходимо выполнить следующие действия:

1) щелкнуть правой кнопкой мыши по ряду данных;

2) в динамическом меню выбрать команду Добавить линию тренда. На экране появится окно Линия тренда (рис. 2);

3) выбрать вид зависимости регрессии. Для нашего примера тип тренда определим, как Линейный;

4) перейти на вкладку Параметры. В поле Показать уравнение на диаграмме установить подтверждение;

5) в случае необходимости можно задать остальные параметры.

Рис. 2. Диалоговое окно для выбора типа тренда

Изобразим полученную зависимость графически точками координатной плоскости (рис. 3). Такое изображение статистической зависимости называется полем корреляции .

По расположению эмпирических точек можно предполагать наличие линейной корреляционной (регрессионной) зависимости между переменными х и у .

По данным табл. 2 найдем уравнение регрессии у по х . Расчеты произведем в Excel по формулам (7)–(13), промежуточные вычисления представим в табл. 3.

Рис. 3. Поле корреляции

Итак, уравнение регрессии у по х :

= -19,37 + 0,74x .

Из полученного уравнения регрессии следует, что при увеличении уровня механизации х на 1% выработка у увеличивается в среднем на 0,74 ед.

По исходным данным вычислим коэффициент корреляции.

Расчеты произведем в Excel, промежуточные вычисления см. табл. 3 и формулы (15), (16).

= 0,954,

т.е. связь между переменными тесная.

Оценим на уровне значимости a = 0,05 значимость уравнения регрессии у по х .

1-й способ . Используя данные табл. 4 вычислим необходимые суммы по формулам табл. 1:

= 6715,71 (см. столбец 6);

Q_R = = 6108,09 (см. столбец 7);

F = = 261,36.

По статистическим таблицам F -распределения F_0,05;1;26 = 4,22. Так как
F > F _0,05;1;26 , то уравнение регрессии значимо.

2-й способ . Учитывая, что b ₁ = 0,739, = 11170,43
(табл. 4), = =23,37 (табл. 4), по формуле (26)

t = = 16,17.

По таблице t -распределения t _0,95;26 = 2,06. Так как t > t _0,95;26 , то коэффициент регрессии b ₁ , а значит, и уравнение парной линейной регрессии значимо.

Найдем коэффициент детерминации и поясним его смысл. Ранее было получено Q_R = 6108,09, Q = 6715,71. По формуле (28) = 0,9095 (или R 2 = r 2 = 0,954 2 = 0,9095). Это означает, что изменения зависимой переменной у – дневная выработка – на 90% объясняется вариацией объясняющей переменной х – уровнем механизации.

Найдем 95%-ные доверительные интервалы для индивидуального значения прибыли при уровне механизации равной 65%.

Ранее было получено уравнение регрессии

= -19,37 + 0,74x .

Чтобы построить доверительный интервал для индивидуального значения , найдем точечное значение признака = -19,37 + 0,74∙65 = 28,718.

Затем найдем дисперсию оценки:

=23,370 = 0,839

и = 0,916.

Далее искомый доверительный интервал получим по (29):

28,718 – 2,06∙0,916 £ £ 28,718 + 2,06∙0,916

26,832 £ £ 30,604

Таким образом, дневная выработка при уровне механизации равной 65% с надежностью 0,95 находится в пределах от 26,832 ед. до
30,604 ед.

Найдем 95%-ный доверительный интервал для параметра b₁ .

0,74 – 2,06 £b₁ £ 0,74 + 2,06 ,

т.е. с надежностью 0,95 при изменении уровня механизации x на 1% дневная выработка y будет изменяться на величину, заключенную в интервале от 0,645 до 0,834 (ед.).

Исследуем полученную модель на наличие гетероскедастичности.

Упорядочим п наблюдений по мере возрастания переменной х . Исключим из рассмотрения С = 6 центральных наблюдений (условие
(п —С )/2 = (28 – 6)/2 = 11 > р = 1 выполняется). Разделим совокупность из (п —С ) = (28 – 6) = 22 наблюдений на две группы (соответственно с малыми и большими значениями фактора х по 11 наблюдений) и определим по каждой из групп уравнения регрессии. Для первой группы оно составит = -3,70 + 0,39x . Для второй группы: = 1,16 + 53,11x . Определим остаточные суммы квадратов для первой (S ₁ ) и второй (S ₂ ) групп. Промежуточные расчеты занесем в табл. 5.

Тест ранговой корреляции Спирмэна

Проранжируем значения х _i и абсолютные величины остатков в порядке возрастания, расчеты занесем в табл. 6.

Найдем коэффициент ранговой корреляции Спирмэна:

= 0,108.

Найдем t -критерий для ранговой корреляции:

= 0,556.

Сравним полученное значение t _r с табличным значением
t _{0,95; 26} = 2,06. Так как t _r 2 = а + b lnх + и . Проверяется значимость коэффициента регрессии b по t -критерию Стьюдента. Если коэффициент регрессии для уравнения lne 2 окажется статистически значимым, то, следовательно, существует зависимость lne 2 от lnх , т.е. имеет место гетероскедастичность остатков.

Чтобы построить зависимость ln e 2 = а + b lnх введем замены:
ln e 2 = у , lnх = z . Построим линейную регрессию у = а + bz . Для этого воспользуемся пакетом анализа MicrosoftExcel (Сервис + Анализ данных + + Регрессия). В результате получим следующую модель:

ln e 2 = 5,635 — 0,901 lnх .

Проверка уравнения на значимость показывает: R 2 = 0,039; F = 1,056; t_a = 1,565 и t_b = 1,028. По тесту Парка зависимость дисперсии остатков от х проявляется ненадежно: все параметры статистически нее значимы, R 2 очень низкий, t -критерий и F -статистика меньше табличных значений (t _0,95;26 = 2,06; F _0,05;1;26 = 4,23). Тест Парка показал отсутствие гетероскедастичности.

Тест оценивает зависимость абсолютных значений остатков от значений фактора х в виде функции: |e| = a + b ∙ x c , где с задается определенным числом степени. Для нашего примера используем значения с равные -2;-1; -0,5; 0,5; 1;2.

Для построения моделей регрессий воспользуемся пакетом анализа Microsoft Excel. Получили следующие результаты:

при с = -2 |e| = 2,62 + 2327,52x -2 R 2 = 0,460; F = 22,14

при с = -1 |e| = 0,87 + 153,09x -1 R 2 = 0,360; F = 14,61

при с = -0,5 |e| = -2,40 + 46,10x -0,5 R 2 = 0,271; F = 9,65

при с = 0,5 |e| = 8,58 — 0,62x 0,5 R 2 = 0,090; F = 2,56

при с = 1 |e| = 5,39 — 0,03x R 2 = 0,035; F = 0,945

Из теста Гейзера следует, что абсолютная величина остатков достаточно сильно зависит от х -2 .