Проверить адекватность полученного уравнения регрессии

Проверка адекватности линейного уравнения регрессии

Расчет коэффициентов ПФЭ при равном числе параллельных опытов в каждой точке факторного пространства

Коэффициенты находятся по формуле:

,

где — среднее значение параметра оптимизации, вычисленное по параллельным опытам – ой строки матрицы планирования .

Проверка значимости коэффициентов ПФЭ

Очевидно, что один фактор больше влияет на параметр оптимизации, другой – меньше. Поэтому можно проверить полученные коэффициенты регрессии на значимость, т.е. оценить величину влияния каждого фактора на значение параметра оптимизации. Если эта величина соизмерима с ошибкой эксперимента, то соответствующий коэффициент не несет дополнительной информации об объекте, и его можно приравнять к нулю, что упрощает математическую модель.

Значимость коэффициентов проверяется с помощью – критерия Стьюдента.

Значения – критерия вычисляются для каждого для каждого фактора по формуле:

,

Полученные значения сравнивают с табличным значением критерия Стъюдента , которое находится по числу степеней свободы , и уровню значимости α — величина, характеризующая вероятность того, что решение будет неправильным. Обычно принимают, что α =0.05.

> ,

то коэффициент значимо отличается от нуля, если же , (1)

то линейное уравнение регрессии признается адекватным. Если это условие не выполняется, т.е.

При расчете F предполагается что . Если наблюдается обратное, то вывод об адекватности может быть сделан и без проверки условия (1).

Если модель адекватна, то ее можно использовать для поиска области оптимума объекта исследования или для предсказания отклика.

При неадекватной линейной модели наиболее часто принимают решение об уменьшении интервалов варьирования факторов и повторении эксперимента.

Итак, алгоритм расчета линейной модели с использованием ПФЭ следующий:

Задают матрицу планирования в кодированной форме для заданного числа факторов

Для каждого фактора задают базовую точку и интервал варьирования

Рассчитывают матрицу планирования в натуральной (размерной) форме

Проводят эксперименты, по матрице планирования, используя случайные числа.

Проводят серию опытов в центре плана, для определения ошибки опыта.

Уравнение множественной регрессии

Назначение сервиса . С помощью онлайн-калькулятора можно найти следующие показатели:

• уравнение множественной регрессии, матрица парных коэффициентов корреляции, средние коэффициенты эластичности для линейной регрессии;
• множественный коэффициент детерминации, доверительные интервалы для индивидуального и среднего значения результативного признака;

Кроме этого проводится проверка на автокорреляцию остатков и гетероскедастичность.

• Шаг №1
• Шаг №2
• Видеоинструкция
• Оформление Word

Отбор факторов обычно осуществляется в два этапа:

1. теоретический анализ взаимосвязи результата и круга факторов, которые оказывают на него существенное влияние;
2. количественная оценка взаимосвязи факторов с результатом. При линейной форме связи между признаками данный этап сводится к анализу корреляционной матрицы (матрицы парных линейных коэффициентов корреляции). Научно обоснованное решение задач подобного вида также осуществляется с помощью дисперсионного анализа — однофакторного, если проверяется существенность влияния того или иного фактора на рассматриваемый признак, или многофакторного в случае изучения влияния на него комбинации факторов.

Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.
2. Каждый фактор должен быть достаточно тесно связан с результатом (т.е. коэффициент парной линейной корреляции между фактором и результатом должен быть существенным).
3. Факторы не должны быть сильно коррелированы друг с другом, тем более находиться в строгой функциональной связи (т.е. они не должны быть интеркоррелированы). Разновидностью интеркоррелированности факторов является мультиколлинеарность — тесная линейная связь между факторами.

Пример . Постройте регрессионную модель с 2-мя объясняющими переменными (множественная регрессия). Определите теоретическое уравнение множественной регрессии. Оцените адекватность построенной модели.
Решение.
К исходной матрице X добавим единичный столбец, получив новую матрицу X

Матрица Y

Транспонируем матрицу X, получаем X T :

В матрице, (X T X) число 5, лежащее на пересечении 1-й строки и 1-го столбца, получено как сумма произведений элементов 1-й строки матрицы X T и 1-го столбца матрицы X

Находим обратную матрицу (X T X) -1

Вектор оценок коэффициентов регрессии равен

Получили оценку уравнения регрессии: Y = 34.66 + 1.97X₁-2.45X₂
Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности. Для ее проверки используют F-критерий Фишера.
R 2 = 1 — s 2 _e/∑(y_i — y_ср) 2 = 1 — 33.18/77.2 = 0.57
F = R 2 /(1 — R 2 )*(n — m -1)/m = 0.57/(1 — 0.57)*(5-2-1)/2 = 1.33
Табличное значение при степенях свободы k₁ = 2 и k₂ = n-m-1 = 5 — 2 -1 = 2, Fkp(2;2) = 19
Поскольку фактическое значение F = 1.33 Пример №2 . Приведены данные за 15 лет по темпам прироста заработной платы Y (%), производительности труда X₁ (%), а также по уровню инфляции X₂ (%).

Решение. Подготовим данные для вставки из MS Excel (как транспонировать таблицу для сервиса см. Задание №2) .

Включаем в отчет: Проверка общего качества уравнения множественной регрессии (F-статистика. Критерий Фишера, Проверка на наличие автокорреляции),

После нажатия на кнопку Дале получаем готовое решение.
Уравнение регрессии (оценка уравнения регрессии):
Y = 0.2706 + 0.5257X₁ + 1.4798X₂
Скачать.

Качество построенного уравнения регрессии проверяется с помощью критерия Фишера (п. 6 отчета).

Пример №3 .
В таблице представлены данные о ВВП, объемах потребления и инвестициях некоторых стран.

Решение:
Для проверки полученных расчетов используем инструменты Microsoft Excel «Анализ данных» (см. пример).

Пример №4 . На основе данных, приведенных в Приложении и соответствующих Вашему варианту (таблица 2), требуется:

1. Построить уравнение множественной регрессии. При этом признак-результат и один из факторов остаются теми же, что и в первом задании. Выберите дополнительно еще один фактор из приложения 1 (границы наблюдения должны совпадать с границами наблюдения признака-результата, соответствующего Вашему варианту). При выборе фактора нужно руководствоваться его экономическим содержанием или другими подходами. Пояснить смысл параметров уравнения.
2. Рассчитать частные коэффициенты эластичности. Сделать вывод.
3. Определить стандартизованные коэффициенты регрессии (b-коэффициенты). Сделать вывод.
4. Определить парные и частные коэффициенты корреляции, а также множественный коэффициент корреляции; сделать выводы.
5. Оценить значимость параметров уравнения регрессии с помощью t-критерия Стьюдента, а также значимость уравнения регрессии в целом с помощью общего F-критерия Фишера. Предложить окончательную модель (уравнение регрессии). Сделать выводы.

Решение. Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор получается из выражения:
s = (X T X) -1 X T Y
Матрица X

Умножаем матрицы, (X T X)

Умножаем матрицы, (X T Y)

Находим определитель det(X T X) T = 139940.08
Находим обратную матрицу (X T X) -1

Уравнение регрессии
Y = 1.8353 + 0.9459X ₁ + 0.0856X ₂
Для несмещенной оценки дисперсии проделаем следующие вычисления:
Несмещенная ошибка e = Y — X*s

Оценка среднеквадратичного отклонения равна

Найдем оценку ковариационной матрицы вектора k = σ*(X T X) -1

Дисперсии параметров модели определяются соотношением S 2 _i = K_ii, т.е. это элементы, лежащие на главной диагонали
С целью расширения возможностей содержательного анализа модели регрессии используются частные коэффициенты эластичности, которые определяются по формуле

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции (от 0 до 1)

Связь между признаком Y факторами X сильная
Частные коэффициенты (или индексы) корреляции, измеряющие влияние на у фактора х_i при неизменном уровне других факторов определяются по стандартной формуле линейного коэффициента корреляции — последовательно берутся пары yx1,yx2. , x1x2, x1x3.. и так далее и для каждой пары находится коэффициент корреляции

Коэффициент детерминации
R 2 = 0.97 2 = 0.95, т.е. в 95% случаев изменения х приводят к изменению y. Другими словами — точность подбора уравнения регрессии — высокая

Значимость коэффициента корреляции

По таблице Стьюдента находим Tтабл: T_табл (n-m-1;a) = (17;0.05) = 1.74
Поскольку Tнабл Fkp, то коэффициент детерминации статистически значим и уравнение регрессии статистически надежно

Построение парной регрессионной модели

Рекомендации к решению контрольной работы.

Статистические данные по экономике можно получить на странице Россия в цифрах.
После определения зависимой и объясняющих переменных можно воспользоваться сервисом Множественная регрессия. Регрессионную модель с 2-мя объясняющими переменными можно построить используя матричный метод нахождения параметров уравнения регрессии или метод Крамера для нахождения параметров уравнения регрессии.

Пример №3 . Исследуется зависимость размера дивидендов y акций группы компаний от доходности акций x₁, дохода компании x₂ и объема инвестиций в расширение и модернизацию производства x₃. Исходные данные представлены выборкой объема n=50.

Тема I. Парная линейная регрессия
Постройте парные линейные регрессии — зависимости признака y от факторов x₁, x₂, x₃ взятых по отдельности. Для каждой объясняющей переменной:

1. Постройте диаграмму рассеяния (поле корреляции). При построении выберите тип диаграммы «Точечная» (без отрезков, соединяющих точки).
2. Вычислите коэффициенты уравнения выборочной парной линейной регрессии (для вычисления коэффициентов регрессии воспользуйтесь встроенной функцией ЛИНЕЙН (функция находится в категории «Статистические») или надстройкой Пакет Анализа), коэффициент детерминации, коэффициент корреляции (функция КОРЕЛЛ), среднюю ошибку аппроксимации.
3. Запишите полученное уравнение выборочной регрессии. Дайте интерпретацию найденным в предыдущем пункте значениям.
4. Постройте на поле корреляции прямую линию выборочной регрессии по точкам .
5. Постройте диаграмму остатков.
6. Проверьте статистическую значимость коэффициентов регрессии по критерию Стьюдента (табличное значение определите с помощью функции СТЬЮДРАСПОБР) и всего уравнения в целом по критерию Фишера (табличное значение F_табл определите с помощью функции FРАСПОБР).
7. Постройте доверительные интервалы для коэффициентов регрессии. Дайте им интерпретацию.
8. Постройте прогноз для значения фактора, на 50% превышающего его среднее значение.
9. Постройте доверительный интервал прогноза. Дайте ему экономическую интерпретацию.
10. Оцените полученные результаты — сделайте выводы о качестве построенной модели, влиянии рассматриваемого фактора на показатель.

Тема II. Множественная линейная регрессия
1. Постройте выборочную множественную линейную регрессию показателя на все указанные факторы. Запишите полученное уравнение, дайте ему экономическую интерпретацию.
2. Определите коэффициент детерминации, дайте ему интерпретацию. Вычислите среднюю абсолютную ошибку аппроксимации и дайте ей интерпретацию.
3. Проверьте статистическую значимость каждого из коэффициентов и всего уравнения в целом.
4. Постройте диаграмму остатков.
5. Постройте доверительные интервалы коэффициентов. Для статистически значимых коэффициентов дайте интерпретации доверительных интервалов.
6. Постройте точечный прогноз значения показателя y при значениях факторов, на 50% превышающих их средние значения.
7. Постройте доверительный интервал прогноза, дайте ему экономическую интерпретацию.
8. Постройте матрицу коэффициентов выборочной корреляции между показателем и факторами. Сделайте вывод о наличии проблемы мультиколлинеарности.
9. Оцените полученные результаты — сделайте выводы о качестве построенной модели, влиянии рассматриваемых факторов на показатель.

Глава 10. Проверка адекватности модели.

Уравнение регрессии, полученное после вычисления коэффициентов, подвергают статистической обработке. При этом осуществляют проверку:

· адекватности математической модели;

· значимости коэффициентов регрессии.

Чтобы проверить адекватность модели по опытным данным, достаточно оценить отклонение предсказанных по уравнению регрессии значений отклика от результатов наблюдения y в одних и тех же i-х точках факторного пространства. Разность между опытным значением отклика и значением, найденным по уравнению регрессии, принято называть остатком, сумму квадратов остатков – остаточной суммой квадратов.

Рассеяние результатов наблюдения вблизи линии уравнения регрессии, оценивающего истинную функцию отклика, можно охарактеризовать с помощью остаточной дисперсии:

(10.1)

где d – число коэффициентов регрессии. Остаточная дисперсия определяется числом степеней свободы

Если остаточная дисперсия незначимо отличается от дисперсии воспроизводимости эксперимента , то уравнение регрессии адекватно описывает опытные данные. Адекватность уравнения регрессии указывает на то, что его точность соответствует точности эксперимента и, следовательно, уравнение, обладающее более высокой точностью получить нельзя.

Если остаточная дисперсия значительно ниже дисперсии воспроизводимости, то это указывает на включение в уравнение регрессии членов, не несущих информации о влиянии факторов на отклик системы, или на неправильное применение формул регрессионного анализа.

В отдельных случаях, когда параллельные опыты ставятся только в части экспериментальных точек, найденная по этим данным дисперсия не характеризует воспроизводимости во всей области изменения факторов. Тогда ситуация , то вычисляют дисперсионное отношение

. (10.3)

Если вычисленное значение меньше табличного значения F_кр критерия Фишера, найденного для соответствующих степеней свободы

при заданном уровне значимости (обычно задают равным 5%), то гипотезу об адекватности не отвергают. В противном случае гипотезу отвергают, и математическое описание признается неадекватным.

Универсальным измерителем степени статистической связи между y и факторами x₁, x₂, …, x_n, является коэффициент детерминации К_д, который определяется соотношением

, (10.5)

где – остаточная дисперсии; – дисперсия воспроизводимости эксперимента.

Коэффициент детерминации лежит в интервале [0,1]. Нулевое значение коэффициента детерминации соответствует полному отсутствию какой-либо связи между y и факторами x₁, x₁, …, x_r. Значение коэффициента равное 1 соответствует случаю чисто функциональной зависимости между y и факторами, когда значение y может быть в точности (детерминированно) восстановлено по значениям x₁, x₁, …, x_n, с помощью формулы y=f(x₁, x₁, …, x_r).

Численное значение коэффициента детерминации К_д отражает долю общей вариации функции отклика y, объясненную функцией регрессии. Например, если коэффициент детерминации равен 0,769, то это означает, что 76,9% изменения величины отклика может быть объяснено регрессией. Таким образом, чем больше К_д, тем лучше модель аппроксимирует Y.

В моделях линейной регрессии в качестве измерителя степени статистической связи между y и факторами x₁, x₂, …, x_n, используется множественный коэффициент корреляции R. Он определяется как обычный парный коэффициент корреляции между y и линейной функции регрессии по x₁, x₁, …, x_r, т.е.

В этом случае коэффициент детерминации равен квадрату множественного коэффициента корреляции, т.е. К_д = R 2 .

Проверка значимости коэффициентов регрессии. Оценки дисперсий коэффициентов регрессии b_i вычисляются по формуле

,

где – остаточная дисперсия, c_ii – i-й диагональный элемент матрицы .

Проверку значимости коэффициентов регрессии производят с помощью критерия Стьюдента, эмпирическое значение которого

. (10.6)

Если найденное значение параметра t_э превышает значение t для числа степеней свободы n = n (m–1) при заданном уровне значимости p (обычно 5 %) (Приложение 1), то коэффициент признают значимым. В противном случае коэффициент принимается равным нулю с вероятностью ошибки p.

Факторы, имеющие большие значения t_э оказывают более существенное влияние на отклик системы. Если коэффициент не значим, то соответствующий фактор можно исключить из уравнения регрессии. Эту процедуру необходимо проводить с большой осторожностью. При наличии значительной корреляции между коэффициентами регрессии возможны существенные изменения в величинах остальных коэффициентов. Поэтому исключение членов из уравнения должно сопровождаться повторным вычислением коэффициентов регрессии и повторной проверкой адекватности уравнения регрессии.

Можно построить доверительный интервал

здесь t – табличное значение коэффициента Стьюдента; s<b_j> – среднеквадратичная ошибка коэффициента регрессии.

По умолчанию доверительные интервалы строятся с 95% вероятностью .

Анализ остатков. Остаточная дисперсия является усредненной оценкой точности математической модели. Поэтому дисперсионное отношение также есть усредненная оценка качества уравнения регрессии. Исследователя часто интересует не только усредненная характеристика, но и отклонения (остатки) в отдельных точках, анализ которых может дать дополнительную информацию о процессе. Анализ остатков проводят визуально посредством нанесения их на график. Если модель адекватно описывает экспериментальные данные и не содержит никаких нарушений, то остатки случайно распределены в пределах доверительного интервала, представляющего собой горизонтальную полосу с центром на оси абсцисс.

Наиболее часто встречаются следующие нарушения распределения остатков.

1. Если остатки находятся внутри расширяющейся полосы, это указывает на отсутствие постоянства дисперсии; если полоса не горизонтальна, это дает основание для введения в модель дополнительной независимой переменной.

2. Наличие выбросов, т.е. отдельных остатков, превосходящих доверительный интервал по абсолютной величине. Существование выбросов может быть связано с нарушением режима проведения эксперимента в данной точке. В этом случае необходима постановка дополнительных экспериментов в точках выбросов. Если эта причина не подтверждается, то наличие выбросов может быть связано с несоответствием вида математической модели действительной форме поверхности отклика.

Дата добавления: 2014-11-13 ; просмотров: 72 ; Нарушение авторских прав