Проверка остатков уравнения регрессии на гетероскедастичность

Гетероскедастичность остатков модели регрессии

Случайной ошибкой называется отклонение в линейной модели множественной регрессии:

В связи с тем, что величина случайной ошибки модели регрессии является неизвестной величиной, рассчитывается выборочная оценка случайной ошибки модели регрессии по формуле:

где ei – остатки модели регрессии.

Термин гетероскедастичность в широком смысле понимается как предположение о дисперсии случайных ошибок модели регрессии.

При построении нормальной линейной модели регрессии учитываются следующие условия, касающиеся случайной ошибки модели регрессии:

6) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

7) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:

8) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

означает гомоскедастичность (homoscedasticity – однородный разброс) дисперсий случайных ошибок модели регрессии.

Под гомоскедастичностью понимается предположение о том, что дисперсия случайной ошибки β_i является известной постоянной величиной для всех наблюдений.

Но на практике предположение о гомоскедастичности случайной ошибки β_i или остатков модели регрессии ei выполняется не всегда.

Под гетероскедастичностью (heteroscedasticity – неоднородный разброс) понимается предположение о том, что дисперсии случайных ошибок являются разными величинами для всех наблюдений, что означает нарушение второго условия нормальной линейной модели множественной регрессии:

Гетероскедастичность можно записать через ковариационную матрицу случайных ошибок модели регрессии:

Тогда можно утверждать, что случайная ошибка модели регрессии β_i подчиняется нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2Ω:

где Ω – матрица ковариаций случайной ошибки.

Если дисперсии случайных ошибок модели регрессии известны заранее, то проблема гетероскедастичности легко устраняется. Однако в большинстве случаев неизвестными являются не только дисперсии случайных ошибок, но и сама функция регрессионной зависимости y=f(x), которую предстоит построить и оценить.

Для обнаружения гетероскедастичности остатков модели регрессии необходимо провести их анализ. При этом проверяются следующие гипотезы.

Основная гипотеза H₀ предполагает постоянство дисперсий случайных ошибок модели регрессии, т. е. присутствие в модели условия гомоскедастичности:

Альтернативная гипотеза H₁ предполагает непостоянство дисперсиий случайных ошибок в различных наблюдениях, т. е. присутствие в модели условия гетероскедастичности:

Гетероскедастичность остатков модели регрессии может привести к негативным последствиям:

1) оценки неизвестных коэффициентов нормальной линейной модели регрессии являются несмещёнными и состоятельными, но при этом теряется свойство эффективности;

2) существует большая вероятность того, что оценки стандартных ошибок коэффициентов модели регрессии будут рассчитаны неверно, что конечном итоге может привести к утверждению неверной гипотезы о значимости коэффициентов регрессии и значимости модели регрессии в целом.

Тест ранговой корреляции Спирмена

Обнаружение гетероскедастичности

Одной из предпосылок регрессионного анализа является предположение о постоянстведисперсии случайного члена для всех наблюдений (гомоскедастичность). Это значит, что для каждого значения объясняющей переменной случайные члены имеют одинаковые дисперсии. Если это условие не соблюдается, то имеет место гетероскедастичность.

При отсутствии гетероскедастичности коэффициенты регрессии имеют наименьшую дисперсию среди всех несмещенных оценок, являющихся линейными функциями от наблюдений y.

Если наблюдается гетероскедастичность, то МНК-оценки будут неэффективными(они не будут иметь наименьшую дисперсию по сравнению с другими оценками этого параметра).

Оценки стандартных ошибок коэффициентов регрессии вычисляются в предположении, что распределение случайного члена гомоскедастично; если это не так, то они неверны (занижены), а, следовательно, t-статистика – завышена. Это может привести к статистически значимым коэффициентам регрессии, тогда как в действительности это не так.

Проблема гетероскедастичности характерна для пространственных данных, полученных от неоднородных объектов. Например, если исследуется зависимость прибыли предприятий от размера основного фонда, то можно ожидать, что для больших предприятий колебание прибыли будет выше, чем для малых.

Предложено большое число тестов для обнаружения гетероскедастичности, в которых делаются различные предположения о зависимости между дисперсией случайного члена и величиной объясняющей переменной (или объясняющих переменных), например, тест ранговой корреляции Спирмена, тест Голдфелда-Квандта и тест Глейзера.

Тест ранговой корреляции Спирмена

Выдвигается нулевая гипотеза об отсутствии гетероскедастичности случайного члена. При выполнении теста ранговой корреляции Спирмена предполагается, что дисперсия случайного члена будет либо увеличиваться, либо уменьшаться по мере увеличения x, и поэтому в регрессии, оцениваемой с помощью МНК, абсолютные величины остатков |e| и значения x будут коррелированы.

Данные по x и остатки |e| ранжируются по переменной x,и определяются их ранги.

Ранг – это порядковый номер значений переменной в ранжированном ряду.

Коэффициент ранговой корреляции Спирмена определяется по формуле:

,

где D_i – разность между рангами x и |e|.

Если предположить, что коэффициент корреляции для генеральной совокупности равен нулю, то коэффициент ранговой корреляции имеет нормальное распределение с нулевым математическим ожиданием и дисперсией в больших выборках. Соответствующая тестовая статистика сравнивается с критическим значением t_кр при заданном уровне значимости (t_кр =1,96 при a = 5%, t_кр = 2,58 при a = 1 %).

Если > t_кр, то нулевая гипотеза об отсутствии гетероскедастичности будет отклонена.

Если в модели регрессии имеется более одной объясняющей переменной, то проверка гипотезы может выполняться с использованием любой из них.

Пример 1.1. Оценим регрессионную зависимость выпуска продукции обрабатывающей промышленности на душу населения y от валового внутреннего продукта на душу населения x в том же году для 17 стран.

Исходные данные (усл. ед.):

В таблице наблюдения расположены в порядке возрастания независимой переменной x.

Пусть модель описывается выражением y = a + bx + e.

По исходным данным с помощью МНК получена следующая регрессионная зависимость:

(1.1)

(в скобках указаны стандартные ошибки).

Рис. А. Результаты инструмента Регрессия пакета Анализа данных

Рис. 1. График остатков e_i, полученный инструментом Регрессия

Из рисунка видно, что с увеличением переменной x размах колебаний остатков e тоже возрастает, поэтому есть предположение о зависимости ошибки регрессии от независимой переменной (гетероскедастичность).

Для установления гетероскедастичности применим тест Спирмена.

Выдвигается нулевая гипотеза об отсутствии гетероскедастичности.

Отклонения от линии регрессии (остатки e) и данные по x в порядке возрастания приведены в следующей таблице:

Здесь значения |e_i| взяты из результата инструмента Регрессия (рис. Б).

Чтобы ранжировать остатки, необходимо выполнить следующие действия.

Скопировать остатки. Рассчитать их модули (функция ABS из категории Математические). Выполнить сортировку. Использовать функцию Ранг из категории Статистические (рис. В).

На основе этих данных вычислен коэффициент ранговой корреляции:

0,865196078

Тестовая статистика составляет . Это выше, чем t_0,05;15 = 2,13 (СТЬЮДРАСПОБР) и, следовательно, нулевая гипотеза об отсутствии гетероскедастичности отклоняется.

Тест Голфельда-Квандта

При проведении проверки по этому тесту предполагается, что стандартное отклонение s случайного члена пропорционально значению независимой переменной x.

Тест включает следующие шаги:

1) Все n наблюдений в выборке упорядочиваются по возрастанию переменной x.

2) Оцениваются отдельные регрессии для первых n₀ и для последних n₀наблюдений. Средние (n – 2n₀) наблюдений отбрасываются.

3) Составляется статистика: F = RSS₂ /RSS₁, где RSS₁, RSS₂ – суммы квадратов остатков для первых и последних n₀ наблюдений соответственно.

Если верна гипотеза H₀ об отсутствии гетероскедастичности, то F имеет распределение Фишера с v₁ = k, v₂= n₀ – k – 1 степенями свободы, где k – число объясняющих переменных.

По таблице определяется критическое значение критерия F_кр.

Если F > F_кр, то нулевая гипотеза об отсутствии гетероскедастичности отклоняется.

Замечание. Тест Голфельда-Квандта можно также использовать для проверки на гетероскедастичность при предположении, что s_i обратно пропорционально x_i. В этом случае тестовой статистикой является величина F = RSS₁ /RSS_2.

Пример 1.2.На основе данных примера 1.1 с помощью обычного МНК оценим регрессии для шести стран с наименьшими значениями показателя x и для шести стран с наибольшими значениями этого показателя.

Получены, соответственно, уравнения:

Суммы квадратов отклонений составляют RSS₁ = 229, RSS₂ = 9804, при этом F = 9804/229 = 42,8. Критическое значение F_кр = 6,39 при 5%-ном (FРАСПОБР(0,05;1;4))[1] уровне значимости. Поскольку F = 42,8 > F_кр = 7,7086, то нулевая гипотеза об отсутствии гетероскедастичности отклоняется.

На рис. Г-Ж – результаты расчетов в MS Excel.

Тест Глейзера

Тест Глейзера основывается на более общих представлениях о зависимости стандартной ошибки случайного члена от значений объясняющей переменной. Например, зависимость может быть представлена в виде:

Используя абсолютные значения остатков в качестве оценкиs_i, данная регрессионная зависимость оценивается при различных значениях g и выбирается наилучшая из них.

Таким образом, гетероскедастичность аппроксимируется уравнением:

Нулевая гипотеза об отсутствии гетероскедастичности отклоняется, если оценка b значимо отличается от нуля.

Пример 1.3. На основании данных |e_i| и x примера 1.1 с использованием различных значений g были оценены уравнения (1.2):

Наилучший результат (по R 2 ) соответствует значению g =1, при этом оценкой s является величина:

(1.3)

Коэффициент b = 1,146значимо отличается от нуля, следовательно, имеет место гетероскедастичность.

Реферат: Методы обнаружение гетероскедастичности

ГЛАВА 1. ПОНЯТИЕ ЭКОНОМЕТРИКИ…………………………………. 4

ГЛАВА 2. СУЩНОСТЬ И ПОСЛЕДСТВИЯ ГЕТЕРОСКЕДАСТИЧНОСТИ………………………………………………..6

ГЛАВА 3. ОБНАРУЖЕНИЕ ГЕТЕРОСКЕДАСТИЧНОСТИ……………..9

3.1. Тест ранговой корреляции Спирмена……………………………………9

АНАЛИЗ ДАННЫХ ПО РАСХОДАМ НА ПРЕДМЕТ НАЛИЧИЯ ГЕТЕРОСКЕДАСТИЧНОСТИ………………………………………………12

При проведении регрессионного анализа определяются следующие этапы: определение коэффициентов корреляции и детерминации, средней ошибки отклонения и наилучшей модели, анализ данных на гетероскедастичность и автокорреляцию и т. д. На практике следует обратить серьезное внимание на проблемы, связанные с выполнимостью свойств случайных отклонений моделей. Свойства оценок коэффициентов регрессии напрямую зависят от свойств случайного члена в уравнении регрессии. Для получения качественных оценок необходимо следить за выполнимостью предпосылок МНК (условий Гаусса – Маркова), т. к. при их нарушении МНК может давать оценки с плохими статистическими свойствами. При этом существуют другие методы определения более точных оценок. Одной из ключевых предпосылок МНК является условие постоянства дисперсий случайных отклонений: дисперсия случайных отклонений постоянна. для любых наблюдений i и j.

Выполнимость данной предпосылки называется гомоскедастичностью (постоянством дисперсии отклонений). Невыполнимость данной предпосылки называется гетероскедастичностью (непостоянством дисперсий отклонений).

В данной курсовой анализируется суть гетероскедастичности, ее причины и последствия, а также приводятся способы ее обнаружения.

ГЛАВА 1. ПОНЯТИЕ ЭКОНОМЕТРИКИ

Постоянно усложняющиеся экономические процессы потребовали создания и совершенствования особых методов изучения и анализа. Широкое распространение получило использование моделирования и количественного анализа. На этом этапе выделилось и сформировалось одно из направлений экономических исследований – эконометрика.

Эконометрика – это наука, в которой на базе реальных статистических данных строятся, анализируются и совершенствуются математические модели реальных экономических явлений. Эконометрика позволяет найти количественное подтверждение либо опровержение того или иного экономического закона либо гипотезы. Одним из важнейших направлений эконометрики является построение прогнозов по различным экономическим показателям.

Эконометрика как научная дисциплина зародилась и получила развитие на основе слияния экономической теории, математической экономики, экономической и математической статистик.

Основные результаты экономической теории носят качественный характер, а эконометрика вносит в них эмпирическое содержание. Математическая экономика выражает экономические законы в виде математических соотношений, а эконометрика осуществляет опытную проверку этих законов. Экономическая статистика дает информационное обеспечение исследуемого процесса в виде исходных (обработанных) статистических данных и экономических показателей, а эконометрика, используя традиционные математико-статистические и специально разработанные методы, проводит анализ количественных взаимосвязей между этими показателями.

К основным задачам эконометрики можно отнести следующие:

· Построение эконометрических моделей, т. е. представление экономических моделей в математической форме, удобной для проведения эмпирического анализа.

· Оценка параметров построенной модели, делающих выбранную модель наиболее адекватной реальным данным.

· Проверка качества найденных параметров модели и самой модели в целом.

· Использование построенных моделей для объяснения поведения исследуемых экономических показателей, прогнозирования и предсказания, а также для осмысленного проведения экономической политики.

Развитие компьютерных систем и эконометрических пакетов, совершенствование методов анализа сделали эконометрику мощнейшим инструментом экономических исследований.

ГЛАВА 2. СУЩНОСТЬ И ПОСЛЕДСТВИЯ ГЕТЕРОСКЕДАСТИЧНОСТИ

При рассмотрении выборочных данных требование постоянства дисперсии случайных отклонений может вызвать определенное недоумение в силу того, что при каждом i-м наблюдении имеется единственное значение . Откуда же появляется разброс? Дело в том, что при рассмотрении выборочных данных имеется дело с конкретными реализациями зависимой переменной и соответственно с определенными случайными отклонениями Но до осуществления выборки эти показатели априори могли принимать произвольные значения на основе некоторых вероятностных распределений. Одним из требований к этим распределениям является равенство дисперсий. Данное условие подразумевает, что несмотря на то что при каждом конкретном наблюдении случайное отклонение может быть большим либо маленьким, положительным либо отрицательным, не должно быть некой априорной причины, вызывающей большую ошибку (отклонение) при одних наблюдениях и меньшую – при других.

Однако на практике гетероскедастичность не так уж и редка. Зачастую есть основания считать, что вероятностные распределения случайных отклонений при различных наблюдениях будут различными. Это не означает, что случайные отклонения обязательно будут большими при определенных наблюдениях и малыми – при других, но это означает, что априорная вероятность этого велика. Поэтому важно понимать суть этого явления и его последствия.

Динамика изменения дисперсий (распределений) отклонений проиллюстрирована на рис. 1. При гомоскедастичности дисперсии ε_i постоянны, а при гетероскедастичности дисперсии ε_i изменяются (на данном рисунке – увеличиваются).

Проблема гетероскедастичности в большей степени характерна для перекрестных данных и довольно редко встречается при рассмотрении временных рядов. Это можно объяснить следующим образом. При перекрестных данных учитываются экономические субъекты (потребители, домохозяйства, фирмы, отрасли, страны и т. п.), имеющие различные доходы, размеры, потребности и т. д. Но в этом случае возможны проблемы, связанные с эффектом масштаба. Во временных рядах обычно рассматриваются одни и те же показатели в различные моменты времени (например, ВНП, чистый экспорт, темпы инфляции и т. д. в определенном регионе за определенный период времени). Однако при увеличении (уменьшении) рассматриваемых показателей с течением времени может возникнуть проблема гетероскедастичности.

При рассмотрении классической линейной регрессионной модели МНК дает наилучшие линейные несмещенные оценки лишь при выполнении ряда предпосылок, одной из которых является постоянство дисперсии отклонений (гомоскедастичность): для всех наблюдений i, i = 1, 2,…, n.

При невыполнимости данной предпосылки (при гетероскедастичности) последствия применения МНК будут следующими:

1. Оценки коэффициентов по-прежнему остаются несмещенными и линейными.

2. Оценки не будут эффективными (т. е. они не будут иметь наименьшую дисперсию по сравнению с другими оценками данного параметра). Они не будут даже асимптотически эффективными. Увеличение дисперсии оценок снижает вероятность получения максимально точных оценок.

3. Дисперсии оценок будут рассчитываться со смещением.

4. Вследствие вышесказанного все выводы, получаемые на основе соответствующих t- и F-статистик, а также интервальные оценки будут ненадежными. Следовательно, статистические выводы, получаемые при стандартных проверках качества оценок, могут быть ошибочными и приводить к неверным заключениям по построенной модели. Вполне вероятно, что стандартные ошибки коэффициентов будут занижены, а следовательно, t-статистики будут завышены. Это может привести к признанию статистически значимыми коэффициентов, таковыми на самом деле не являющимися.

ГЛАВА 3. ОБНАРУЖЕНИЕ ГЕТЕРОСКЕДАСТИЧНОСТИ

3.1. Тест ранговой корреляции Спирмена

При использовании данного теста предполагается, что дисперсия отклонения будет либо увеличиваться, либо уменьшатся с увеличением значения X. Поэтому для регрессии, построенной по МНК, абсолютные величины отклонений и значения будут коррелированы. Значения и ранжируются (упорядочиваются по величинам). Затем определяется коэффициент ранговой корреляции:

где — разность между рангами значений и ().

Если соответствующий коэффициент корреляции для генеральной совокупности равен нулю, т. е. гетероскедастичность отсутствует, то коэффициент ранговой корреляции имеет нормальное распределение с математическим ожиданием 0 и дисперсией .

Соответствующая тестовая статистика равна:

Следовательно, если значение тестовой статистики, вычисленное по вышеприведенной формуле, превышает 1,96 и 2,58 при уровнях значимости в 5% и 1% соответственно (определяемое по таблице критических точек распределения Стьюдента), то необходимо отклонить гипотезу о равенстве нулю коэффициента корреляции, а следовательно, и об отсутствии гетероскедастичности. В противном случае гипотеза об отсутствии гетероскедастичности принимается.

3.2. Тест Голдфелда – Квандта

В данном случае предполагается, что стандартное отклонение пропорционально значению переменной X в этом наблюдении. Предполагается, что имеет нормальное распределение и отсутствует автокорреляция остатков.

Тест Голдфелда – Квандта состоит в следующем:

1. Все n наблюдений упорядочиваются по величине X по возрастающей.

2. Вся упорядоченная выборка после этого разбивается на две подвыборки размерностей k, (N – 2k), k соответственно.

3. Оцениваются отдельные регрессии для первой подвыборки (kпервых наблюдений) и для второй подвыборки (k последних наблюдений). Если предположение о пропорциональности дисперсий отклонений значениям X верно, то дисперсия регрессии (сумма квадратов остатков RSS₁ ) по первой подвыборке будет существенно меньше дисперсии регрессии (суммы квадратов остатков RSS₂ ) по второй подвыборке.

4. Для сравнения соответствующих дисперсий строится следующая F-статистика:

Здесь (k – m – 1) – число степеней свободы соответствующих выборочных дисперсий (m – количество объясняющих переменных в уравнении регрессии).

5. Если , то гипотеза об отсутствии гетероскедастичности отклоняется.

6. Если , то гипотеза об отсутствии гетероскедастичности принимается.

Естественным является вопрос, какими должны быть размеры подвыборок для принятия обоснованных решений. Для парной регрессии Голдфелд и Квандт предлагают следующие пропорции: n = 30, k = 11; n = 60, k = 22.

Этот же тест может быть использован при предположении об обратной пропорциональности между и значениями объясняющей переменной. При этом F-статистика примет вид: (если X убывает).

3.3. Тест Глейзера

Тест Глейзера предполагает анализ зависимостей между дисперсиями отклонений и значениями переменной :

В качестве зависимой переменной для изучения гетероскедастичности выбирается абсолютная величина остатков, т. е. осуществляется регрессия

где – случайный член.

В качестве функций f обычно выбираются функции вида . Регрессия осуществляется при разных значениях γ, затем выбирается то значение, при котором коэффициент β оказывается наиболее значимым, т. е. имеет наибольшее значение t-статистики. Изменяя значения γ, можно построить различные регрессии. Обычно γ = …, -1, -0.5, 0, 0.5, 1, 1.5, … . Статистическая значимость коэффициента β в каждом конкретном случае фактически означает наличие гетероскедастичности. Если для нескольких регрессий коэффициент β оказывается статистически значимым, то при определении характера зависимости обычно ориентируются на лучшую из них.

АНАЛИЗ ДАННЫХ ПО РАСХОДАМ НА ПРЕДМЕТ НАЛИЧИЯ ГЕТЕРОСКЕДАСТИЧНОСТИ

Выполнить исследование по приведенным исходным данным, основанным на статистике США за годы с 1959-1983. Проанализировать данные на гетероскедастичность и автокорреляцию. Определить наилучшую модель из 3: линейной, степенной и гиперболической. Сделать выводы о модели.

Данные для расчета необходимо взять из табл. 1:

1. Найдем линейную модель в виде . Оценки для α и β определяем с помощью метода наименьших квадратов по формулам:

Для этого найдем:

Среднее значение x:

Среднее значение y:

Ковариацию x и y:

Полученная мною линейная модель имеет вид:

В результате выполнения регрессионного анализа мною получено:

TSS –полная сумма квадратов:

RSS – остаточная сумма квадратов:

ESS – оцененная модель суммы квадратов:

Условия правильности моих вычислений на данном этапе проверим по формуле:

49901,17 = 46820,32 + 3080,849

Вычислим коэффициент корреляции и коэффициент детерминации:

Критерием правильности решения задачи является:

Данные параметры характеризуют хорошую линейную зависимость между текущими расходами и совокупными личными расходами на имеющихся статистических данных.

Найдем среднюю ошибку аппроксимации:

где

Для наглядности представим результаты графически.

Примечание. Прямая линия – уравнение регрессии, а точки – статистические данные.

Определим доверительный интервал для параметров α и β:

Здесь – квантиль t-распределения Стьюдента с (N – p) степенями свободы; p – число параметров, в моем случае он равен 2; и – оценки исследуемых параметров, полученные ранее с использованием метода наименьших квадратов; и – несмещенные оценки для дисперсий случайных величин α и β; γ – уровень значимости.

Квантиль t–распределения Стьюдента с 23 степенями свободы находим из таблицы:

Для γ = 1%, = 2,807

Для γ = 5%, = 2,069

Доверительный интервал для 1% уровня значимости:

42,787 2 (ε_i ) необходимо знать распределение Y, соответствующее выбранному значению x_i . На практике зачастую для каждого конкретного значения x_i определяется единственное значение y_i , что не позволяет оценить дисперсию Y для данного x_i .

В заключение отметим, что наличие гетероскедастичности не позволяет получить эффективные оценки, что зачастую приводит к необоснованным выводам по их качеству. Обнаружение гетероскедастичности – достаточно трудоемкая проблема и для ее решения разработано несколько методов.

Все они используют в качестве нулевой гипотезы H₀ гипотезу об отсутствии гетероскедастичности.

В ходе исследований я получила, что наилучшей моделью является гиперболическая функция, т. к. ей соответствует наименьшая средняя ошибка аппроксимации равная = 5,2%. При проверке полученной модели на возможную гетероскедастичность данных я воспользовалась тестом ранговой корреляции Спирмена и тестом Голдфелда – Квандта. В результате обоих вычислений нулевая гипотеза об отсутствии гетероскедастичности принимается, следовательно мои данные гомоскедастичны.

1. Бородич С.А. Эконометрика. – Мн.: Новое знание, 2004.

2. Доугерти К. Введение в эконометрику. – М.: ИНФРА-М, 1999.

3. Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов. – М.: ЮНИТИ, 2002.

4. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. – М.: Дело, 2004.

5. Орлов А.И. Эконометрика. – М.: Экзамен, 2002.

6. Суслов В.И., Ибрагимов Н.М., Талышева Л.П. Эконометрия. – Новосибирск.: СО РАН, 2005.

7. Харин Ю.С., Малюгин В.И., Харин А.Ю. Эконометрическое моделирование. – Мн.: БГУ, 2003.