Данные для регрессионного анализа. Корреляционно-регрессионный анализ в Excel: инструкция выполнения

Метод регрессивного анализа применяется для определения технико-экономических параметров продукции, относящейся к конкретному параметрическому ряду, с целью построения и выравнивания ценностных соотношений. Этот метод используется для анализа и обоснования уровня и соотношений цен продукции, характеризующейся наличием одного или нескольких технико-экономических параметров, отражающих основные потребительские свойства. Регрессивный анализ позволяет найти эмпирическую формулу, описывающую зависимость цены от технико-экономических параметров изделий:

P=f(X1X2,...,Xn),

где Р - значение цены единицы изделия, руб.; (Х1, Х2, ... Хп) - технико-экономические параметры изделий.

Метод регрессивного анализа - наиболее совершенный из используемых нормативно-параметрических методов - эффективен при проведении расчетов на основе применения современных информационных технологий и систем. Применение его включает следующие основные этапы:

• определение классификационных параметрических групп изделий;
• отбор параметров, в наибольшей степени влияющих на цену изделия;
• выбор и обоснование формы связи изменения цены при изменении параметров;
• построение системы нормальных уравнений и расчет коэффициентов регрессии.

Основной квалификационной группой изделий, цена которых подлежит выравниванию, является параметрический ряд, внутри которого изделия могут группироваться по различному исполнению в зависимости от их применения, условий и требований эксплуатации и т. д. При формировании параметрических рядов могут быть применены методы автоматической классификации, которые позволяют из общей массы продукции выделять ее однородные группы. Отбор технико-экономических параметров производится исходя из следующих основных требований:

• в состав отобранных параметров включаются параметры, зафиксированные в стандартах и технических условиях; помимо технических параметров (мощности, грузоподъемности, скорости и т.д.) используются показатели серийности продукции, коэффициенты сложности, унификации и др.;
• совокупность отобранных параметров должна достаточно полно характеризовать конструктивные, технологические и эксплуатационные свойства изделий, входящих в ряд, и иметь достаточно тесную корреляционную связь с ценой;
• параметры не должны быть взаимозависимы.

Для отбора технико-экономических параметров, существенно влияющих на цену, вычисляется матрица коэффициентов парной корреляции. По величине коэффициентов корреляции между параметрами можно судить о тесноте их связи. При этом близкая к нулю корреляция показывает незначительное влияние параметра на цену. Окончательный отбор технико-экономических параметров производится в процессе пошагового регрессивного анализа с использованием компьютерной техники и соответствующих стандартных программ.

В практике ценообразования применяется следующий набор функций:

линейная

P = ao + alXl + ... + antXn,

линейно-степенная

Р = ао + а1Х1 + ... + аnХп + (ап+1Хп) (ап+1Хп) +... + (ап+nХп2) (ап+nХп2)

обратного логарифма

Р = а0 + а1: In Х1 + ... + ап: In Xn,

степенная

P = a0 (X1^a1) (X2^a2) .. (Xn^an)

показательная

P = e^(а1+а1X1+...+аnХn)

гиперболическая

Р = ао + а1:Х1 + а2:Х2 + ... + ап:Хп,

где Р - выравнивание цены; X1 X2,..., Хп - значение технико-экономических параметров изделий ряда; a0, a1 ..., аn - вычисляемые коэффициенты уравнения регресии.

В практической работе по ценообразованию в зависимости от формы связи цен и технико-экономических параметров могут использоваться другие уравнения регрессии. Вид функции связи между ценой и совокупностью технико-экономических параметров может быть задан предварительно или выбран автоматически в процессе обработки на ЭВМ. Теснота корреляционной связи между ценой и совокупностью параметров оценивается по величине множественного коэффициента корреляции. Близость его к единице говорит о тесной связи. По уравнению регрессии получают выравненные (расчетные) значения цен изделий данного параметрического ряда. Для оценки результатов выравнивания вычисляют относительные величины отклонения расчетных значений цен от фактических:

Цр = Рф - Рр: Р х 100

где Рф, Рр - фактическая и расчетная цены.

Величина Цр не должна превышать 8-10%. В случае существенных отклонений расчетных значений от фактических необходимо исследовать:

• правильность формирования параметрического ряда, так как в его составе могут оказаться изделия, по своим параметрам резко отличающиеся от других изделий ряда. Их надо исключить;
• правильность отбора технико-экономических параметров. Возможна совокупность параметров, слабо коррелируемая с ценой. В этом случае необходимо продолжить поиск и отбор параметров.

Порядок и методика проведения регрессивного анализа, нахождения неизвестных параметров уравнения и экономическая оценка полученных результатов осуществляются в соответствии с требованиями математической статистики.

При наличии корреляционной связи между факторными и результативными признаками врачам нередко приходится устанавливать, на какую величину может измениться значение одного признака при изменении другого на общепринятую или установленную самим исследователем единицу измерения.

Например, как изменится масса тела школьников 1-го класса (девочек или мальчиков), если рост их увеличится на 1 см. В этих целях применяется метод регрессионного анализа.

Наиболее часто метод регрессионного анализа применяется для разработки нормативных шкал и стандартов физического развития.

1. Определение регрессии . Регрессия - функция, позволяющая по средней величине одного признака определить среднюю величину другого признака, корреляционно связанного с первым.

   С этой целью применяется коэффициент регрессии и целый ряд других параметров. Например, можно рассчитать число простудных заболеваний в среднем при определенных значениях среднемесячной температуры воздуха в осенне-зимний период.

2. Определение коэффициента регрессии . Коэффициент регрессии - абсолютная величина, на которую в среднем изменяется величина одного признака при изменении другого связанного с ним признака на установленную единицу измерения.
3. Формула коэффициента регрессии . R у/х = r ху x (σ у / σ x)
   где R у/х - коэффициент регрессии;
   r ху - коэффициент корреляции между признаками х и у;
   (σ у и σ x) - среднеквадратические отклонения признаков x и у.

   В нашем примере ;
   σ х = 4,6 (среднеквадратическое отклонение температуры воздуха в осенне-зимний период;
   σ у = 8,65 (среднеквадратическое отклонение числа инфекционно-простудных заболеваний).
   Таким образом, R у/х - коэффициент регрессии.
   R у/х = -0,96 х (4,6 / 8,65) = 1,8, т.е. при снижении среднемесячной температуры воздуха (x) на 1 градус среднее число инфекционно-простудных заболеваний (у) в осенне-зимний период будет изменяться на 1,8 случаев.

4. Уравнение регрессии . у = М у + R y/x (х - М x)
   где у - средняя величина признака, которую следует определять при изменении средней величины другого признака (х);
   х - известная средняя величина другого признака;
   R y/x - коэффициент регрессии;
   М х, М у - известные средние величины признаков x и у.

   Например, среднее число инфекционно-простудных заболеваний (у) можно определить без специальных измерений при любом среднем значении среднемесячной температуры воздуха (х). Так, если х = - 9°, R у/х = 1,8 заболеваний, М х = -7°, М у = 20 заболеваний, то у = 20 + 1,8 х (9-7) = 20 + 3,6 = 23,6 заболеваний.
   Данное уравнение применяется в случае прямолинейной связи между двумя признаками (х и у).

5. Назначение уравнения регрессии . Уравнение регрессии используется для построения линии регрессии. Последняя позволяет без специальных измерений определить любую среднюю величину (у) одного признака, если меняется величина (х) другого признака. По этим данным строится график - линия регрессии , по которой можно определить среднее число простудных заболеваний при любом значении среднемесячной температуры в пределах между расчетными значениями числа простудных заболеваний.
6. Сигма регрессии (формула) .
   где σ Rу/х - сигма (среднеквадратическое отклонение) регрессии;
   σ у - среднеквадратическое отклонение признака у;
   r ху - коэффициент корреляции между признаками х и у.

   Так, если σ у - среднеквадратическое отклонение числа простудных заболеваний = 8,65; r ху - коэффициент корреляции между числом простудных заболеваний (у) и среднемесячной температурой воздуха в осенне-зимний период (х) равен - 0,96, то

   

7. Назначение сигмы регрессии . Дает характеристику меры разнообразия результативного признака (у).

   Например, характеризует разнообразие числа простудных заболеваний при определенном значении среднемесячной температуры воздуха в осеннне-зимний период. Так, среднее число простудных заболеваний при температуре воздуха х 1 = -6° может колебаться в пределах от 15,78 заболеваний до 20,62 заболеваний.
   При х 2 = -9° среднее число простудных заболеваний может колебаться в пределах от 21,18 заболеваний до 26,02 заболеваний и т.д.

   Сигма регрессии используется при построении шкалы регрессии, которая отражает отклонение величин результативного признака от среднего его значения, отложенного на линии регрессии.

8. Данные, необходимые для расчета и графического изображения шкалы регрессии
   • коэффициент регрессии - R у/х;
   • уравнение регрессии - у = М у + R у/х (х-М x);
   • сигма регрессии - σ Rx/y
9. Последовательность расчетов и графического изображения шкалы регрессии .
   • определить коэффициент регрессии по формуле (см. п. 3). Например, следует определить, насколько в среднем будет меняться масса тела (в определенном возрасте в зависимости от пола), если средний рост изменится на 1 см.
   • по формуле уравнения регрессии (см п. 4) определить, какой будет в среднем, например, масса тела (у, у 2 , у 3 ...)* для определеного значения роста (х, х 2 , х 3 ...).
     ________________
     * Величину "у" следует рассчитывать не менее чем для трех известных значений "х".

     При этом средние значения массы тела и роста (М х, и М у) для определенного возраста и пола известны

   • вычислить сигму регрессии, зная соответствующие величины σ у и r ху и подставляя их значения в формулу (см. п. 6).
   • на основании известных значений х 1 , х 2 , х 3 и соответствующих им средних значений у 1 , у 2 у 3 , а также наименьших (у - σ rу/х)и наибольших (у + σ rу/х) значений (у) построить шкалу регрессии.

     Для графического изображения шкалы регрессии на графике сначала отмечаются значения х, х 2 , х 3 (ось ординат), т.е. строится линия регрессии, например зависимости массы тела (у) от роста (х).

     Затем в соответствующих точках у 1 , y 2 , y 3 отмечаются числовые значения сигмы регрессии, т.е. на графике находят наименьшее и наибольшее значения у 1 , y 2 , y 3 .

10. Практическое использование шкалы регрессии . Разрабатываются нормативные шкалы и стандарты, в частности по физическому развитию. По стандартной шкале можно дать индивидуальную оценку развития детей. При этом физическое развитие оценивается как гармоничное, если, например, при определенном росте масса тела ребенка находится в пределах одной сигмы регрессии к средней расчетной единице массы тела - (у) для данного роста (x) (у ± 1 σ Ry/x).

    Физическое развитие считается дисгармоничным по массе тела, если масса тела ребенка для определенного роста находится в пределах второй сигмы регрессии: (у ± 2 σ Ry/x)

    Физическое развитие будет резко дисгармоничным как за счет избыточной, так и за счет недостаточной массы тела, если масса тела для определенного роста находится в пределах третьей сигмы регрессии (у ± 3 σ Ry/x).

По результатам статистического исследования физического развития мальчиков 5 лет известно, что их средний рост (х) равен 109 см, а средняя масса тела (у) равна 19 кг. Коэффициент корреляции между ростом и массой тела составляет +0,9, средние квадратические отклонения представлены в таблице.

Требуется:

• рассчитать коэффициент регрессии;
• по уравнению регрессии определить, какой будет ожидаемая масса тела мальчиков 5 лет при росте, равном х1 = 100 см, х2 = 110 см, х3= 120 см;
• рассчитать сигму регрессии, построить шкалу регрессии, результаты ее решения представить графически;
• сделать соответствующие выводы.

Условие задачи и результаты ее решения представлены в сводной таблице.

Таблица 1

Решение .

Вывод. Таким образом, шкала регрессии в пределах расчетных величин массы тела позволяет определить ее при любом другом значении роста или оценить индивидуальное развитие ребенка. Для этого следует восстановить перпендикуляр к линии регрессии.

1. Власов В.В. Эпидемиология. - М.: ГЭОТАР-МЕД, 2004. - 464 с.
2. Лисицын Ю.П. Общественное здоровье и здравоохранение. Учебник для вузов. - М.: ГЭОТАР-МЕД, 2007. - 512 с.
3. Медик В.А., Юрьев В.К. Курс лекций по общественному здоровью и здравоохранению: Часть 1. Общественное здоровье. - М.: Медицина, 2003. - 368 с.
4. Миняев В.А., Вишняков Н.И. и др. Социальная медицина и организация здравоохранения (Руководство в 2 томах). - СПб, 1998. -528 с.
5. Кучеренко В.З., Агарков Н.М. и др.Социальная гигиена и организация здравоохранения (Учебное пособие) - Москва, 2000. - 432 с.
6. С. Гланц. Медико-биологическая статистика. Пер с англ. - М., Практика, 1998. - 459 с.

После того как с помощью корреляционного анализа выявлено наличие статистических связей между переменными и оценена степень их тесноты, обычно переходят к математическому описанию конкретного вида зависимостей с использованием регрессионного анализа. С этой целью подбирают класс функций, связывающий результативный показатель у и аргументы х 1, х 2,…, х к отбирают наиболее информативные аргументы, вычисляют оценки неизвестных значений параметров уравнения связи и анализируют свойства полученного уравнения.

Функция f(х 1, х 2,…, х к) описывающая зависимость среднего значения результативного признака у от заданных значений аргументов, называется функцией (уравнением) регрессии. Термин «регрессия» (лат. -regression- отступление, возврат к чему-либо) введен английским психологом и антропологом Ф.Гальтоном и связан исключительно со спецификой одного из первых конкретных примеров, в котором это понятие было использовано. Так, обрабатывая статистические данные в связи с анализом наследственности роста, Ф. Гальтон нашел, что если отцы отклоняются от среднего роста всех отцов на x дюймов, то их сыновья отклоняются от среднего роста всех сыновей меньше, чем на x дюймов. Выявленная тенденция была названа «регрессией к среднему состоянию». С тех пор термин «регрессия» широко используется в статистической литературе, хотя во многих случаях он недостаточно точно характеризует понятие статистической зависимости.

Для точного описания уравнения регрессии необходимо знать закон распределения результативного показателя у. В статистической практике обычно приходится ограничиваться поиском подходящих аппроксимаций для неизвестной истинной функции регрессии, так как исследователь не располагает точным знанем условного закона распределения вероятностей анализируемого результатирующего показателя у при заданных значениях аргумента х.

Рассмотрим взаимоотношение между истинной f(х) = М(у1х), мо дельной регрессией? и оценкой y регрессии. Пусть результативный показатель у связан с аргументом х соотношением:

где - е случайная величина, имеющая нормальный закон распределения, причем Ме = 0 и D е = у 2 . Истинная функция регрессии в этом случае имеет вид: f (х) = М(у/х) = 2х 1.5 .

Предположим, что точный вид истинного уравнения регрессии нам не известен, но мы располагаем девятью наблюдениями над двумерной случайной величиной, связанной соотношением уi= 2х1,5+е, и представленной на рис. 1

Рисунок 1 - Взаимное расположение истиной f (х) и теоретической? модели регрессии

Расположение точек на рис. 1 позволяет ограничиться классом линейных зависимостей вида? = в 0 +в 1 x. С помощью метода наименьших квадратов найдем оценку уравнения регрессии у = b 0 +b 1 x. Для сравнения на рис. 1 приводятся графики истинной функции регрессии у=2х 1,5 , теоретической аппроксимирующей функции регрессии? = в 0 +в 1 x .

Поскольку мы ошиблись в выборе класса функции регрессии, а это достаточно часто встречается в практике статистических исследований, то наши статистические выводы и оценки окажутся ошибочными. И как бы мы ни увеличивали объем наблюдений, наша выборочная оценка у не будет близка к истинной функции регрессии f (х). Если бы мы правильно выбрали класс функций регрессии, то неточность в описании f(х) с помощью? объяснялась бы только ограниченностью выборки.

С целью наилучшего восстановления по исходным статистическим данным условного значения результативного показателя у(х) и неизвестной функции регрессии f(х) = М(у/х) наиболее часто используют следующие критерии адекватности (функции потерь).

Метод наименьших квадратов. Согласно ему минимизируется квадрат отклонения наблюдаемых значений результативного показателя у, (i = 1,2,..., п) от модельных значений,? = f(х i), где, х i - значение вектора аргументов в i-м наблюдении: ?(y i - f(х i) 2 > min. Получаемая регрессия называется среднеквадратической.

Метод наименьших модулей. Согласно ему минимизируется сумма абсолютных отклонений наблюдаемых значений результативного показателя от модульных значений. И получаем,? = f(х i), среднеабсолютную медианную регрессию? |y i - f(х i)| >min.

Регрессионным анализом называется метод статистического анализа зависимости случайной величины у от переменных х j = (j=1,2,..., к), рассматриваемых в регрессионном анализе как неслучайные величины, независимо от истинного закона распределения х j.

Обычно предполагается, что случайная величина у имеет нормальный закон распределения с условным математическим ожиданием у, являющимся функцией от аргументов х/ (/= 1, 2,..., к) и постоянной, не зависящей от аргументов, дисперсией у 2 .

В общем линейная модель регрессионного анализа имеет вид:

Y = Уk j=0 вj цj (x1 , x2 . . .. ,xk )+Э

где ц j - некоторая функция его переменных - x 1 , x 2 . . .. ,x k , Э - случайная величина с нулевым математическим ожиданием и дисперсией у 2 .

В регрессионном анализе вид уравнения регрессии выбирают исходя из физической сущности изучаемого явления и результатов наблюдения.

Оценки неизвестных параметров уравнения регрессии находят обычно методом наименьших квадратов. Ниже остановимся более подробно на этой проблеме.

Двумерное линейное уравнение регрессии. Пусть на основании анализа исследуемого явления предполагается, что в «среднем» у есть линейная функция от х, т. е. имеется уравнение регрессии

у=М(у/х)=в 0 + в 1 х)

где М(у1х) - условное математическое ожидание случайной величины у при заданном х; в 0 и в 1 - неизвестные параметры генеральной совокупности, которые надлежит оценить по результатам выборочных наблюдений.

Предположим, что для оценки параметров в 0 и в 1 из двухмерной генеральной совокупности (х, у) взята выборка объемом n, где (х, у,) результат i-го наблюдения (i = 1, 2,..., n). В этом случае модель регрессионного анализа имеет вид:

y j = в 0 + в 1 x+е j .

где е j .- независимые нормально распределенные случайные величины с нулевым математическим ожиданием и дисперсией у 2 , т. е. М е j . = 0;

D е j .= у 2 для всех i = 1, 2,..., n.

Согласно методу наименьших квадратов в качестве оценок неизвестных параметров в 0 и в 1 следует брать такие значения выборочных характеристик b 0 и b 1 , которые минимизируют сумму квадратов отклонений значений результативного признака у i от условного математического ожидания? i

Методику определения влияния характеристик маркетинга на прибыль предприятия рассмотрим на примере семнадцати типичных предприятий, имеющих средние размеры и показатели хозяйственной деятельности.

При решении задачи учитывались следующие характеристики, выявленные в результате анкетного опроса как наиболее значимые (важные):

* инновационная деятельность предприятия;

* планирование ассортимента производимой продукции;

* формирование ценовой политики;

* взаимоотношения с общественностью;

* система сбыта;

* система стимулирования работников.

На основе системы сравнений по факторам были построены квадратные матрицы смежности, в которых вычислялись значения относительных приоритетов по каждому фактору: инновационная деятельность предприятия, планирование ассортимента производимой продукции, формирование ценовой политики, реклама, взаимоотношения с общественностью, система сбыта, система стимулирования работников.

Оценки приоритетов по фактору «взаимоотношения с общественностью» получены в результате анкетирования специалистов предприятия. Приняты следующие обозначения: > (лучше), > (лучше или одинаково), = (одинаково), < (хуже или одинаково), <

Далее решалась задача комплексной оценки уровня маркетинга предприятия. При расчете показателя была определена значимость (вес) рассмотренных частных признаков и решалась задача линейного свертывания частных показателей. Обработка данных производилась по специально разработанным программам.

Далее рассчитывается комплексная оценка уровня маркетинга предприятия -- коэффициент маркетинга, который вносится в таблице 1. Кроме того, в названую таблицу включены показатели, характеризующие предприятие в целом. Данные в таблице будут использованы для проведения регрессионного анализа. Результативным признаком является прибыль. В качестве факторных признаков наряду с коэффициентом маркетинга использованы следующие показатели: объем валовой продукции, стоимость основных фондов, численность работников, коэффициент специализации.

Таблица 1 - Исходные данные для регрессионного анализа

По данным таблицы и на основе факторов с наиболее существенными значениями коэффициентов корреляции были построены регрессионные функции зависимости прибыли от факторов.

Уравнение регрессии в нашем случае примет вид:

О количественном влиянии рассмотренных выше факторов на величину прибыли говорят коэффициенты уравнения регрессии. Они показывают, на сколько тысяч рублей изменяется ее величина при изменении факторного признака на одну единицу. Как следует из уравнения, увеличение коэффициента комплекса маркетинга на одну единицу дает прирост прибыли на 1547,7 тыс. руб. Это говорит о том, что в совершенствовании маркетинговой деятельности кроется огромный потенциал улучшения экономических показателей предприятий.

При исследовании эффективности маркетинга наиболее интересным и самым важным факторным признаком является фактор Х5 -- коэффициент маркетинга. В соответствии с теорией статистики достоинство имеющегося уравнения множественной регрессии является возможность оценивать изолированное влияние каждого фактора, в том числе фактора маркетинга.

Результаты проведенного регрессионного анализа имеют и более широкое применение, чем для расчета параметров уравнения. Критерий отнесения (КЭф,) предприятий к относительно лучшим или относительно худшим основан на относительном показателе результата:

где Y фактi - фактическая величина i-го предприятия, тыс. руб.;

Y расчi -величина прибыли i-го предприятия, полученная расчетным путем по уравнению регрессии

В терминах решаемой задачи величина носит название «коэффициент эффективности». Деятельность предприятия можно признать эффективной в тех случаях, когда величина коэффициента больше единицы. Это означает, что фактическая прибыль больше прибыли, усредненной по выборке.

Фактические и расчетные значения прибыли представлены в табл. 2.

Таблица 2 - Анализ результативного признака в регрессионной модели

Анализ таблицы показывает, что в нашем случае деятельность предприятий 3, 5, 7, 9, 12, 14, 15, 17 за рассматриваемый период можно признать успешной.

Регрессионный анализ - это метод установления аналитического выражения стохастической зависимости между исследуемыми признаками. Уравнение регрессии показывает, как в среднем изменяется у при изменении любого из x i , и имеет вид:

где у - зависимая переменная (она всегда одна);

х i - независимые переменные (факторы) (их может быть несколько).

Если независимая переменная одна - это простой регрессионный анализ. Если же их несколько (п 2), то такой анализ называется многофакторным.

В ходе регрессионного анализа решаются две основные задачи:

построение уравнения регрессии, т.е. нахождение вида зависимости между результатным показателем и независимыми факторами x 1 , x 2 , …, x n .

оценка значимости полученного уравнения, т.е. определение того, насколько выбранные факторные признаки объясняют вариацию признака у.

Применяется регрессионный анализ главным образом для планирования, а также для разработки нормативной базы.

В отличие от корреляционного анализа, который только отвечает на вопрос, существует ли связь между анализируемыми признаками, регрессионный анализ дает и ее формализованное выражение. Кроме того, если корреляционный анализ изучает любую взаимосвязь факторов, то регрессионный - одностороннюю зависимость, т.е. связь, показывающую, каким образом изменение факторных признаков влияет на признак результативный.

Регрессионный анализ - один из наиболее разработанных методов математической статистики. Строго говоря, для реализации регрессионного анализа необходимо выполнение ряда специальных требований (в частности, x l ,x 2 ,...,x n ; y должны быть независимыми, нормально распределенными случайными величинами с постоянными дисперсиями). В реальной жизни строгое соответствие требованиям регрессионного и корреляционного анализа встречается очень редко, однако оба эти метода весьма распространены в экономических исследованиях. Зависимости в экономике могут быть не только прямыми, но и обратными и нелинейными. Регрессионная модель может быть построена при наличии любой зависимости, однако в многофакторном анализе используют только линейные модели вида:

Построение уравнения регрессии осуществляется, как правило, методом наименьших квадратов, суть которого состоит в минимизации суммы квадратов отклонений фактических значений результатного признака от его расчетных значений, т.е.:

где т - число наблюдений;

j = a + b 1 x 1 j + b 2 x 2 j + ... + b n х n j - расчетное значение результатного фактора.

Коэффициенты регрессии рекомендуется определять с помощью аналитических пакетов для персонального компьютера или специального финансового калькулятора. В наиболее простом случае коэффициенты регрессии однофакторного линейного уравнения регрессии вида y = а + bх можно найти по формулам:

Кластерный анализ

Кластерный анализ - один из методов многомерного анализа, предназначенный для группировки (кластеризации) совокупности, элементы которой характеризуются многими признаками. Значения каждого из признаков служат координатами каждой единицы изучаемой совокупности в многомерном пространстве признаков. Каждое наблюдение, характеризующееся значениями нескольких показателей, можно представить как точку в пространстве этих показателей, значения которых рассматриваются как координаты в многомерном пространстве. Расстояние между точками р и q с k координатами определяется как:

Основным критерием кластеризации является то, что различия между кластерами должны быть более существенны, чем между наблюдениями, отнесенными к одному кластеру, т.е. в многомерном пространстве должно соблюдаться неравенство:

где r 1, 2 - расстояние между кластерами 1 и 2.

Так же как и процедуры регрессионного анализа, процедура кластеризации достаточно трудоемка, ее целесообразно выполнять на компьютере.

Лекция 3.

Регрессионный анализ.

1) Числовые характеристики регрессии

2) Линейная регрессия

3) Нелинейная регрессия

4) Множественная регрессия

5) Использование MS EXCEL для выполнения регрессионного анализа

Контрольно-оценочное средство - тестовые задания

1. Числовые характеристики регрессии

Регрессионный анализ — статистический метод исследования влияния одной или нескольких независимых переменных на зависимую переменную. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения.

Цели регрессионного анализа

• Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными).
• Предсказание значения зависимой переменной с помощью независимой(-ых).
• Определение вклада отдельных независимых переменных в вариацию зависимой.

Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа.

Для проведения регрессионного анализа первоначально необходимо познакомиться с базовыми понятиями статистики и теории вероятности.

Основные числовые характеристики дискретных и непрерывных случайных величин: математическое ожидание, дисперсия и среднее квадратическое отклонение.

Случайные величине делят на две разновидности:

• · дискретные, которые могут принимать только конкретные, заранее оговоренные значения (например, - значения чисел на верхней грани брошенной игральной кости или порядковые значения текущего месяца);
• · непрерывные (чаще всего - значения некоторых физических величин: веса, расстояния, температуры и т.п.), которые по законам природы могут принимать любые значения, хотя бы и в некотором интервале.

Закон распределения случайной величины - это соответствие между возможными значениями дискретной случайной величины и ее вероятностями, обычно записывается в таблицу:

Статистическое определение вероятности выражается через относительную частоту случайного события, то есть находится как отношение количества случайных величин к общему числу случайных величин.

Математическим ожиданием дискретной случайной величины X называется сумма произведений значений величины X на вероятности этих значений. Математическое ожидание обозначают или M (X ) .

n

= M (X ) = x 1 p 1 + x 2 p 2 +… + x n p n = S x i p i

i =1

Рассеяние случайной величины относительно её математического ожидания определяется с помощью числовой характеристики, называемой дисперсией. Проще говоря, дисперсия - это разброс случайной величины относительно среднего значения. Для понятия сущности дисперсии рассмотрим пример. Средняя заработная плата по стране составляет около 25 тысяч рублей. Откуда берется эта цифра? Скорее всего, складываются все зарплаты и делятся на количество работников. В данном случае очень большая дисперсия (минимальная зарплата около 4 тыс. руб., а максимальная - около 100 тыс. руб.). Если бы зарплата у всех была одинаковой, то дисперсия была бы равна нулю, и разброса бы не было.

Дисперсией дискретной случайной величины X называют математическое ожидание квадрата разности случайной величины и её математического ожидания:

D = M [ ((X - M (X)) 2 ]

Используя определение математического ожидания для вычисления дисперсии, получаем формулу:

D = S (x i - M (X)) 2 · p i

Дисперсия имеет размерность квадрата случайной величины. В тех случаях, когда нужно иметь числовую характеристику рассеяния возможных значений в той же размерности, что и сама случайная величина, используют среднее квадратичное отклонение.

Средним квадратичным отклонением случайной величины называют корень квадратный из её дисперсии.

Среднее квадратичное отклонение есть мера рассеяния значений случайной величины около ее математического ожидания.

Пример.

Закон распределения случайной величины Х задан следующей таблицей:

Найти её математическое ожидание, дисперсию и среднее квадратичное отклонение.

Используем приведенные выше формулы:

М (Х) = 1 · 0,1 + 2 · 0,4 + 4 · 0,4 + 5 · 0,1 = 3

D = (1-3) 2 · 0,1 + (2 - 3) 2 · 0,4 + (4 - 3) 2 · 0,4 + (5 - 3) 2 · 0,1 = 1,6

Пример.

В денежной лотерее разыгрывается 1 выигрыш в 1000 рублей, 10 выигрышей по 100 рублей и 100 выигрышей по 1 рублю при общем числе билетов 10000. Составьте закон распределения случайного выигрыша Х для владельца одного лотерейного билета и определите математическое ожидание, дисперсию и среднее квадратичное отклонение случайной величины.

X 1 = 1000, Х 2 = 100, Х 3 = 1, Х 4 = 0,

Р 1 = 1/10000 = 0,0001, Р 2 = 10/10000 = 0,001, Р 3 = 100/10000 = 0,01, Р 4 = 1 - (Р 1 + Р 2 + Р 3) = 0,9889.

Результаты поместим в таблицу:

Математическое ожидание - сумма парных произведений значения случайной величины на их вероятность. Для данной задачи его целесообразно вычислить по формуле

1000 · 0,0001 + 100 · 0,001 + 1 · 0,01 + 0 · 0,9889 = 0,21 рубля.

Получили настоящую «справедливую» цену билета.

D = S (x i - M (X)) 2 · p i = (1000 - 0,21) 2 0,0001 + (100 - 0,21) 2 0,001 +

+ (1 - 0,21) 2 0,01 + (0 - 0,21) 2 0,9889 ≈ 109,97

Функция распределения непрерывных случайных величин

Величину, которая в результате испытания примет одно возможное значение (при этом заранее неизвестно какое), называется случайной величиной. Как говорилось выше, случайные величины бывают дискретные (прерывные) и непрерывные.

Дискретной называют случайную величину, принимающую отдельные друг от друга возможные значения с определенными вероятностями, которые можно пронумеровать.

Непрерывной называют случайную величину, которая может принимать все значения из некоторого конечного или бесконечного интервала.

До этого момента мы ограничивались только одной “разновидностью” случайных величин - дискретных, т.е. принимающих конечные значения.

Но теория и практика статистики требуют использовать понятие непрерывной случайной величины - допускающей любые числовые значения, из какого - либо интервала.

Закон распределения непрерывной случайной величины удобно задавать с помощью так называемой функции плотности вероятности. f (х). Вероятность Р (a < X < b) того, что значение, принятое случайной величиной Х, попадет в промежуток (a; b), определяется равенством

Р (a < X < b) = ∫ f (x ) dx

График функции f (х) называется кривой распределения. Геометрически вероятность попадания случайной величины в промежуток (a; b), равна площади соответствующей криволинейной трапеции, ограниченной кривой распределения, осью Ох и прямыми х = а, х = b.

P(a£X

Если от сложного события вычесть конечное либо счетное множество, вероятность наступления нового события останется неизменной.

Функция f(x) - числовая скалярная функция действительного аргумента x называется плотностью вероятности, и существует в точке x, если в этой точке существует предел:

Свойства плотности вероятности:

1. Плотность вероятности является неотрицательной функцией, т. е. f(x) ≥ 0

(если все значения случайной величины Х заключены в промежутке (a;b), то последнее

равенство можно записать в виде ∫ f (x) dx = 1).

Рассмотрим теперь функцию F(х) = Р (Х < х). Эта функция называется функцией распределения вероятности случайной величины Х. Функция F(х) существует как для дискретных, так и для непрерывных случайных величин. Если f (x) - функция плотности распределения вероятности

непрерывной случайной величины Х, то F (х) = ∫ f(x) dx = 1).

Из последнего равенства следует, что f (x) = F" (x)

Иногда функцию f(x) называют дифференциальной функцией распределения вероятности, а функцию F(x) - интегральной функцией распределения вероятности.

Отметим важнейшие свойства функции распределения вероятности:

1. F (х) - неубывающая функция.
2. F (- ∞) = 0.
3. F (+ ∞) = 1.

Понятие функции распределения является центральным в теории вероятностей. Используя это понятие, можно дать другое определение непрерывной случайной величины. Случайная величина называется непрерывной, если ее интегральная функция распределения F(х) непрерывна.

Числовые характеристики непрерывных случайных величин

Математическое ожидание, дисперсия и другие параметры любых случайных величин практически всегда вычисляются по формулам, вытекающим из закона распределения.

Для непрерывной случайной величины математическое ожидание вычисляется по формуле:

М (Х) = ∫ x · f(x ) dx

Дисперсия:

D (X) = ∫ (x - М (Х)) 2 f (x ) dx или D (X) = ∫ x 2 f(x ) dx - (М (Х)) 2

2. Линейная регрессия

Пусть составляющие Х и Y двумерной случайной величины (Х, Y) зависимы. Будем считать, что одну из них можно приближенно представить как линейную функцию другой, например

Y ≈ g(Х) = α + βХ, и определим параметры α и β с помощью метода наименьших квадратов.

Определение. Функция g(Х) = α + βХ называется наилучшим приближением Y в смысле метода наименьших квадратов, если математическое ожидание М(Y - g(Х)) 2 принимает наименьшее возможное значение; функцию g(Х) называют среднеквадратической регрессией Y на Х.

Теорема Линейная средняя квадратическая регрессия Y на Х имеет вид:

где - коэффициент корреляции Х иY.

Коэффициенты уравнения.

Можно проверить, что при этих значениях функция функция F(α, β)

F (α, β ) = M (Y - α - βX )² имеет минимум, что доказывает утверждение теоремы.

Определение. Коэффициент называется коэффициентом регрессии Y на Х , а прямая - - прямой среднеквадратической регрессии Y на Х .

Подставив координаты стационарной точки в равенство, можно найти минимальное значение функции F(α, β), равное Эта величина называется остаточной дисперсией Y относительно Х и характеризует величину ошибки, допускаемой при замене Y на

g(Х) = α+βХ. При остаточная дисперсия равна 0, то есть равенство является не приближенным, а точным. Следовательно, при Y и Х связаны линейной функциональной зависимостью. Аналогично можно получить прямую среднеквадратической регрессии Х на Y:

и остаточную дисперсию Х относительно Y. При обе прямые регрессии совпадают. Сопоставив уравнения регрессии У на Х и Х на У и решив систему из уравнений, можно найти точку пересечения прямых регрессии - точку с координатами (т х, т у), называемую центром совместного распределения величин Х и Y.

Алгоритм составления уравнений регрессии рассмотрим из учебника В. Е. Гмурмана «Теория вероятности и математическая статистика» стр. 256.

1) Составить расчетную таблицу, в которой будут записаны номера элементов выборки, варианты выборки, их квадраты и произведение.

2) Вычислить сумму по всем столбцам, кроме номера.

3) Вычислить средние значения для каждой величины, дисперсии и средне квадратические отклонения.

5) Проверить гипотезу о существовании связи между Х и У.

6) Составить уравнения обеих линий регрессии и изобразить графики этих уравнений.

Угловой коэффициент прямой линии регрессии У на Х - это выборочный коэффициент регрессии

Коэффициент b=

Получим искомое уравнение линии регрессии У на Х:

У = 0,202 Х + 1,024

Аналогично уравнение регрессии Х на У:

Угловой коэффициент прямой линии регрессии У на Х - это выборочный коэффициент регрессии pxy:

Коэффициент b=

Х = 4,119У - 3,714

3. Нелинейная регрессия

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например:

Полиномы разных степеней

Равносторонняя гипербола - ;

Полулогарифмическая функция - .

2. Регрессии, нелинейные по оцениваемым параметрам, например:

Степенная - ;

Показательная - ;

Экспоненциальная - .

Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции.

Парабола второй степени приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению, оценка параметров которого при помощи Метода наименьших квадратов приводит к системе уравнений:

Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.

Равносторонняя гипербола может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соотношение между нормой безработицы x и процентом прироста заработной платы y .

Гипербола приводится к линейному уравнению простой заменой: . Также можно использовать Метод наименьших квадратов для составления системы линейных уравнений.

Аналогичным образом приводятся к линейному виду зависимости: , и другие.

Равносторонняя гипербола и полулогарифмическая кривая используют для описания кривой Энгеля (математическое описание взаимосвязи доли расходов на товары длительного пользования и общих сумм расходов (или доходов)). Уравнения, в которых входят, применяются в исследованиях урожайности, трудоемкости сельскохозяйственного производства.

4. Множественная регрессия

Множественная регрессия - уравнение связи с несколькими независимыми переменными:

где - зависимая переменная (результативный признак);

Независимые переменные (факторы).

Для построения уравнения множественной регрессии чаще используются следующие функции:

линейная -

степенная -

экспонента -

гипербола - .

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). Для линейных уравнений и нелинейных уравнений, приводимых к линейным, строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Для ее решения может быть применен метод определителей:

где - определитель системы;

Частные определители; которые получаются путем замены соответствующего столбца матрицы определителя системы данными левой части системы.

Другой вид уравнения множественной регрессии - уравнение регрессии в стандартизированном масштабе, к уравнению множественной регрессии в стандартизированном масштабе применим МНК.

5. Использование MS EXCEL для выполнения регрессионного анализа

Регрессионный анализ устанавливает формы зависимости между случайной величиной Y (зависимой) и значениями одной или нескольких переменных величин (независимых), причем значения последних считаются точно заданными. Такая зависимость обычно определяется некоторой математической моделью (уравнением регрессии), содержащей несколько неизвестных параметров. В ходе регрессионного анализа на основании выборочных данных находят оценки этих параметров, определяются статистические ошибки оценок или границы доверительных интервалов и проверяется соответствие (адекватность) принятой математической модели экспериментальным данным.

В линейном регрессионном анализе связь между случайными величинами предполагается линейной. В самом простом случае в парной линейной регрессионной модели имеются две переменные Х и Y. И требуется по n парам наблюдений (X1, Y1), (X2, Y2), ..., (Xn, Yn) построить (подобрать) прямую линию, называемую линией регрессии, которая «наилучшим образом» приближает наблюдаемые значения. Уравнение этой линии y=аx+b является регрессионным уравнением. С помощью регрессионного уравнения можно предсказать ожидаемое значение зависимой величины y, соответствующее заданному значению независимой переменной x. В случае, когда рассматривается зависимость между одной зависимой переменной Y и несколькими независимыми X1, X2, ..., Xm, говорят о множественной линейной регрессии.

В этом случае регрессионное уравнение имеет вид

y = a 0 +a 1 x 1 +a 2 x 2 +…+a m x m ,

где a0, a1, a2, …, am - требующие определения коэффициенты регрессии.

Коэффициенты уравнения регрессии определяются при помощи метода наименьших квадратов, добиваясь минимально возможной суммы квадратов расхождений реальных значений переменной Y и вычисленных по регрессионному уравнению. Таким образом, например, уравнение линейной регрессии может быть построено даже в том случае, когда линейная корреляционная связь отсутствует.

Мерой эффективности регрессионной модели является коэффициент детерминации R2 (R-квадрат). Коэффициент детерминации может принимать значения между 0 и 1 определяет, с какой степенью точности полученное регрессионное уравнение описывает (аппроксимирует) исходные данные. Исследуется также значимость регрессионной модели с помощью F-критерия (Фишера) и достоверность отличия коэффициентов a0, a1, a2, …, am от нуля проверяется с помощью критерия Стьюдента.

В Excel экспериментальные данные аппроксимируются линейным уравнением до 16 порядка:

y = a0+a1x1+a2x2+…+a16x16

Для получения коэффициентов линейной регрессии может быть использована процедура «Регрессия» из пакета анализа. Также полную информацию об уравнении линейной регрессии дает функция ЛИНЕЙН. Кроме того, могут быть использованы функции НАКЛОН и ОТРЕЗОК для получения параметров регрессионного уравнения и функция ТЕНДЕНЦИЯ и ПРЕДСКАЗ для получения предсказанных значений Y в требуемых точках (для парной регрессии).

Рассмотрим подробно применение функции ЛИНЕЙН (известные_y, [известные_x], [константа], [статистика]): известные_у - диапазон известных значений зависимого параметра Y. В парном регрессионном анализе может иметь любую форму; в множественном должен быть строкой либо столбцом; известные_х - диапазон известных значений одного или нескольких независимых параметров. Должен иметь ту же форму, что и диапазон Y (для нескольких параметров - соответственно несколько столбцов или строк); константа - логический аргумент. Если исходя из практического смысла задачи регрессионного анализа необходимо, чтобы линия регрессии проходила через начало координат, то есть свободный коэффициент был равен 0, значение этого аргумента следует положить равным 0 (или «ложь»). Если значение положено 1 (или «истина») или опущено, то свободный коэффициент вычисляется обычным образом; статистика - логический аргумент. Если значение положено 1 (или «истина»), то дополнительно возвращается регрессионная статистика (см таблицу), используемая для оценки эффективности и значимости модели. В общем случае для парной регрессии y=аx+b результат применения функции ЛИНЕЙН имеет вид:

Таблица. Выводной диапазон функции ЛИНЕЙН для парного регрессионного анализа

В случае множественного регрессионного анализа для уравнения y=a0+a1x1+a2x2+…+amxm в первой строке выводятся коэффициенты am,…,a1,а0, во второй - стандартные ошибки для этих коэффициентов. В 3-5 строках за исключением первых двух столбцов, заполненных регрессионной статистикой, будет получено значение #Н/Д.

Вводить функцию ЛИНЕЙН следует как формулу массива, выделив вначале массив нужного размера для результата (m+1 столбец и 5 строк, если требуется регрессионная статистика) и завершив ввод формулы нажатием CTRL+SHIFT+ENTER.

Результат для нашего примера:

Кроме этого в программе имеется встроенная функция - Анализ данных на вкладке Данные.

С помощью нее можно также выполнять регрессионный анализ:

На слайде - результат регрессионного анализа, выполненного с помощью Анализа данных.

Уравнения регрессии, которые мы смотрели ранее также построены в MS Excel. Для их выполнения сначала строится Точечная диаграмма, затем через контекстное меню выбираем - Добавить линию тренда. В новом окне ставим галочки - Показывать уравнение на диаграмме и поместить на диаграмму величину достоверности апроксимации (R^2).

Литература:

1. Теория вероятностей и математическая статистика. Гмурман В. Е. Учебное пособие для вузов. - Изд. 10-е, стер. - М.: Высш. шк., 2010. - 479с.
2. Высшая математика в упражнениях и задачах. Учебное пособие для вузов / Данко П. Е., Попов А. Г., Кожевникова Т. Я., Данко С. П. В 2 ч. - Изд. 6-е, стер. - М.: ООО «Издательство Оникс»: ООО «Издательство «Мир и образование» , 2007. - 416 с.
   1. 3. http://www.machinelearning.ru/wiki/index.php?title=%D0%A0%D0%B5%D0%B3%D1%80%D0%B5%D1%81%D1%81%D0%B8%D1%8F - некоторые сведения о регрессионном анализе