Для вычисления коэффициента Кендалла значения факторного признака предварительно ранжируют, то есть ранги по Х записывают строго в порядке возрастания количественных значений.
1) Для каждого ранга по Y находят общее количество следующих за ним рангов, больших по значению, чем данный ранг. Общее количество таких случаев учитывают со знаком “+” и обозначают P.
2) Для каждого ранга по Y определяют количество следующих за ним рангов, меньших по значению, чем данный ранг. Общее количество таких случаев учитывают со знаком “-” и обозначают Q.
3) Рассчитывают S=P+Q=9+(-1)=8
4) Коэффициент Кенделла вычисляют по формуле:
Коэффициент Кенделла может принимать значения от -1 до +1 и чем ближе к , тем сильнее связь между признаками.
В некоторых случаях для определения направления связи между двумя признаками вычисляют коэффициент Фехнера . Этот коэффициент основан на сравнении поведения отклонений индивидуальных значений факторного и результативного признаков от своей средней величины. Коэффициент Фехнера вычисляют по формуле:
; где сумма С - общее число совпадений знаков отклонений, сумма Н - общее число несовпадений знаков отклонений.
1) Вычисляют среднюю величину факторного признака: 
2) Определяют знаки отклонений индивидуальных значений факторного признака от средней величины.
3) Рассчитывают среднюю величину результативного признака: 
.
4) Находят знаки отклонений индивидуальных значений результативного признака от средней величины:
Вывод : связь прямая, о тесноте связи коэффициент не говорит.
Для определения степени тесноты связи между тремя ранжированными признаками вычисляют коэффициент конкордации. Он рассчитывается по формуле:
, где m - число ранжированных признаков; n - число ранжированных единиц наблюдения.
| Отрасли промышленности | X1 | X2 | X3 | R1 | R2 | R3 | ||
| Электроэнергетика | 7,49 | |||||||
| Топливная | 12,70 | |||||||
| Черная М. | 5,92 | |||||||
| Цветная М. | 9,48 | |||||||
| Машиностроение | 4,18 | |||||||
| Итог: |
X1 - число работников (тыс. чел.); X2 - объем промышленных продаж (млрд. руб.); X3 - среднемесячная зарплата.
1) Значения всех признаков ранжируем и ранги устанавливаем строго в порядке возрастания количественных значений.
2) По каждой строке определяют сумму рангов. По этому столбцу вычисляется итоговая строка.
3) Вычисляют 
.
4) По каждой строке находят квадраты отклонений сумм рангов и величин Т. По этому же столбцу рассчитаем итоговую строку, которую обозначим через S. 
Коэффициент конкордации может принимать значения от 0 до 1 и чем ближе к 1, тем сильнее связь между признаками.
Краткая теория
Коэффициент корреляции Кендалла используется в случае, когда переменные представлены двумя порядковыми шкалами при условии, что связанные ранги отсутствуют. Вычисление коэффициента Кендалла связано с подсчетом числа совпадений и инверсий.
Этот коэффициент изменяется в пределах и рассчитывается по формуле:
Для расчета все единицы ранжируются по признаку ; по ряду другого признака подсчитывается для каждого ранга число последующих рангов, превышающий данный (их обозначим через ), и число последующих рангов ниже данного (их обозначим через ).
Можно показать, что
и коэффициент ранговой корреляции Кендалла можно записать как
Для того, чтобы при уровне значимости , проверить нулевую гипотезу о равенстве нулю генерального коэффициента ранговой корреляции Кендалла при конкурирующей гипотезе , надо вычислить критическую точку:
где – объем выборки; – критическая точка двусторонней критической области, которую находят по таблице функции Лапласа по равенству
Если – нет оснований отвергнуть нулевую гипотезу. Ранговая корреляционная связь между признаками незначимая.
Если – нулевую гипотезу отвергают. Между признаками существует значимая ранговая корреляционная связь.
Пример решения задачи
Условие задачи
При приеме на работу семи кандидатам на вакантные должности было предложено два теста. Результаты тестирования (в баллах) приведены в таблице:
| Тест | Кандидат | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 1 | 31 | 82 | 25 | 26 | 53 | 30 | 29 | 2 | 21 | 55 | 8 | 27 | 32 | 42 | 26 |
Вычислить ранговый коэффициент корреляции Кендалла между результатами тестирования по двум тестам и на уровне оценить его значимость.
Решение задачи
Вычислим коэффициент Кендалла
Ранги факторного признака располагаются строго в порядке возрастания и параллельно записываются соответствующие им ранги результативного признака . Для каждого ранга из числа следующих за ним рангов подсчитывается количество больших него по величине рангов (заносится в столбец ) и число рангов, меньших по значению (заносится в столбец ).
| 1 | 1 | 6 | 0 | 2 | 4 | 3 | 2 | 3 | 3 | 3 | 1 | 4 | 6 | 1 | 2 | 5 | 2 | 2 | 0 | 6 | 5 | 1 | 0 | 7 | 7 | 0 | 0 | Сумма | 16 | 5 |
Коэффициент корреляции Кендалла используется в случае, когда переменные представлены двумя порядковыми шкалами при условии, что связанные ранги отсутствуют. Вычисление коэффициента Кендалла связано с подсчетом числа совпадений и инверсий. Рассмотрим эту процедуру на примере предыдущей задачи.
Алгоритм решения задачи следующий:
Переоформляем данные табл. 8.5 таким образом, чтобы один из рядов (в данном случае ряд x i) оказался ранжированным. Другими словами, мы переставляем пары x и y в нужном порядке и вносим данные в столбцы 1 и 2 табл. 8.6.
Таблица 8.6
|
x i |
y i | ||
2. Определяем «степень ранжированности» 2-го ряда (y i). Эта процедура проводится в следующей последовательности:
а) берем первое значение неранжированного ряда «3». Подсчитываем количество рангов ниже данного числа, которые больше сравниваемого значения. Таких значений 9 (числа 6, 7, 4, 9, 5, 11, 8, 12 и 10). Заносим число 9 в столбец «совпадения». Затем подсчитываем количество значений, которые меньше трех. Таких значений 2 (ранги 1 и 2); вносим число 2 в графу «инверсии».
б) отбрасываем число 3 (мы с ним уже поработали) и повторяем процедуру для следующего значения «6»: число совпадений равно 6 (ранги 7, 9, 11, 8, 12 и 10), число инверсий – 4 (ранги 1, 2, 4 и 5). Вносим число 6 в графу «совпадения», а число 4 – в графу «инверсии».
в) аналогичным образом процедура повторяется до конца ряда; при этом следует помнить, что каждое «отработанное» значение исключается из дальнейшего рассмотрения (подсчитываются только ранги, которые лежат ниже данного числа).
Примечание
Для того чтобы не совершать ошибок в подсчетах, следует иметь в виду, что с каждым «шагом» сумма совпадений и инверсий уменьшается на единицу; это понятно, если учесть, что каждый раз одно значение исключается из рассмотрения.
3. Подсчитывается сумма совпадений (Р) и сумма инверсий (Q) ; данные вносятся в одну и трех взаимозаменяемых формул коэффициента Кендалла (8.10). Проводятся соответствующие вычисления.
t (8.10)
В нашем случае:
В табл. XIV Приложений находятся критические значения коэффициента для данной выборки: τ кр. = 0,45; 0,59. Эмпирически полученное значение сравнивается с табличным.
Вывод
τ = 0,55 > τ кр. = 0,45. Корреляция статистически значима для 1-го уровня.
Примечание :
При необходимости (например, при отсутствии таблицы критических значений) статистическая значимость t Кендалла может быть определена по формуле следующего вида:
(8.11)
где S* = P – Q + 1, если P < Q , и S* = P – Q – 1, если P > Q.
Значения z для соответствующего уровня значимости соответствуют мере Пирсона и находятся по соответствующим таблицам (в приложение не включены. Для стандартных уровней значимости z кр = 1,96 (для β 1 = 0,95) и 2,58 (для β 2 = 0,99). Коэффициент корреляции Кендалла является статистически значимым, если z > z кр
В нашем случае S* = P – Q – 1 = 35 и z = 2,40, т. е. первоначальный вывод подтверждается: корреляция между признаками статистически достоверна для 1-го уровня значимости.
Потребности экономической и социальной практики требуют разработки методов количественного описания процессов, позволяющих точно регистрировать не только количественные, но и качественные факторы. При условии, что значения качественных признаков могут быть упорядочены, или проранжированы по степени убывания (возрастания) признака, возможно оценить тесноту связи между качественными признаками. Под качественным подразумевается признак, который невозможно измерить точно, но он позволяет сравнивать объекты между собой и, следовательно, расположить их в порядке убывания или возрастания качества. И реальным содержанием измерений в ранговых шкалах является тот порядок, в котором выстраиваются объекты по степени выраженности измеряемого признака.
В практических целях использование ранговой корреляции весьма полезно. Например, если установлена высокая ранговая корреляция между двумя качественными признаками изделий, то достаточно контролировать изделия только по одному из признаков, что удешевляет и ускоряет контроль.
В качестве примера можно рассмотреть наличие связи между обеспеченностью товарной продукцией ряда предприятий и накладными расходами по реализации. В ходе 10 наблюдений получена следующая таблица:
Упорядочим значения X по возрастанию, при этом каждому значению поставим в соответствие его порядковый номер (ранг):
Таким образом,
Построим следующую таблицу, куда записываются пары X и Y, полученные в результате наблюдения со своими рангами:
Обозначая разность рангов как, запишем формулу вычисления выборочного коэффициента корреляции Спирмена:
где n - число наблюдений, оно же число пар рангов.
Коэффициент Спирмена обладает следующими свойствами:
Если между качественными признаками X и Y имеется полная прямая зависимость в том смысле, что ранги объектов совпадают при всех значениях i, то выборочный коэффициент корреляции Спирмена равен 1. Действительно, подставив в формулу, получим 1.
Если между качественными признаками X и Y имеется полная обратная зависимость в том смысле, что рангу соответствует ранг, то выборочный коэффициент корреляции Спирмена равен -1.
Действительно, если
Подставив значение в формулу коэффициента корреляции Спирмена, получим -1.
Если между качественными признаками нет ни полной прямой, ни полной обратной связи, то выборочный коэффициент корреляции Спирмена заключен между -1 и 1, причем чем ближе к 0 его значение, тем связь между признаками меньше.
По данным вышеприведенного примера найдем значение P, для этого достроим таблицу значениями и:
Выборочный коэффициент корреляции Кендалла. Можно оценивать связь между двумя качественными признаками, используя коэффициент ранговой корреляции Кендалла.
Пусть ранги объектов выборки объема n равны:
по признаку X:
по признаку Y: . Допустим, что правее имеется рангов, больших, правее имеется рангов, больших, правее имеется рангов, больших. Введем обозначение суммы рангов
Аналогично введем обозначение как сумму количества рангов, лежащих правее, но меньших.
Выборочный коэффициент корреляции Кендалла записывается формулой:
Где n - объем выборки.
Коэффициент Кендалла обладает теми же свойствами, что и коэффициент Спирмена:
Если между качественными признаками X и Y имеется полная прямая зависимость в том смысле, что ранги объектов совпадают при всех значениях i, то выборочный коэффициент корреляции Кендалла равен 1. Действительно, правее имеется n-1 рангов, больших, поэтому, таким же образом устанавливаем, что. Тогда. И коэффициент Кендалла равен: .
Если между качественными признаками X и Y имеется полная обратная зависимость в том смысле, что рангу соответствует ранг, то выборочный коэффициент корреляции Кендалла равен -1. Правее нет рангов, больших, поэтому. Аналогично. Подставляя значение R+=0 в формулу коэффициента Кендалла, получим -1.
При достаточно большом объме выборки и при значениях коэффициентов ранговой корреляции, не близких к 1, имеет место приближенное равенство:
Коэффициент Кендалла дает более осторожную оценку корреляции, чем коэффициент Спирмена? (числовое значение? всегда меньше, чем). Хотя вычисление коэффициента? менее трудоемко, чем вычисление коэффициента, последний легче пересчитать, если к ряду добавляется новый член.
Важное достоинство коэффициента состоит в том, что с его помощью можно определить коэффициент частной ранговой корреляции, позволяющий оценить степень "чистой" взаимосвязи двух ранговых признаков, устранив влияние третьего:
Значимость коэффициентов ранговой корреляции. При определении силы ранговой корреляции на основе выборочных данных необходимо рассмотреть следующий вопрос: с какой степенью надежности можно полагаться на заключение о том, что в генеральной совокупности существует корреляция, если получен некоторый выборочный коэффициент ранговой корреляции. Другими словами, следует проверить значимость наблюдавшихся корреляций рангов исходя из гипотезы о статистической независимости двух рассматриваемых ранжировок.
При сравнительно большом объеме n выборки проверка значимости коэффициентов ранговой корреляции может осуществляться с помощью таблицы нормального распределения (табл. 1 приложения). Для проверки значимости коэффициента Спирмена? (при n>20) вычисляют значение
а для проверки значимости коэффициента Кендалла? (при n>10) вычисляют значение
где S=R+- R-, n - объем выборки.
Далее задаются уровнем значимости?, определяют по таблице критических точек распределения Стьюдента критическое значение tкр(?,k) и сравнивают с ним вычисленное значение или. Число степеней свободы принимается k = n-2. Если или > tкр, то значения или признаются значимыми.
Коэффициент корреляции Фехнера.
Наконец, следует упомянуть коэффициент Фехнера, характеризующий элементарную степень тесноты связи, который целесообразно использовать для установления факта наличия связи, когда существует небольшой объем исходной информации. Основой его вычисления является учет направления отклонений от средней арифметической варианты каждого вариационного ряда и определение согласованности знаков этих отклонений для двух рядов, связь между которыми измеряется.
Данный коэффициент определяется по формуле:
где na - количество совпадений знаков отклонений индивидуальных величин от их средней арифметической; nb - соответственно количество несовпадений.
Коэффициент Фехнера может изменяться в пределах -1,0<= Кф<= +1,0.
Прикладные аспекты ранговой корреляции. Как уже отмечалось, коэффициенты ранговой корреляции могут использоваться не только для качественного анализа взаимосвязи двух ранговых признаков, но и при определении силы связи между ранговым и количественным признаками. В этом случае значения количественного признака упорядочиваются и им приписываются соответствующие ранги.
Существует ряд ситуации, когда вычисление коэффициентов ранговой корреляции целесообразно и при определении силы связи двух количественных признаков. Так, при существенном отклонении распределения одного из них (или обоих) от нормального распределения определение уровня значимости выборочного коэффициента корреляции r становится некорректным, в то время как ранговые коэффициенты? и? не сопряжены с такими ограничениями при определении уровня значимости.
Другая ситуация такого рода возникает, когда связь двух количественных признаков имеет нелинейный (но монотонный) характер. Если количество объектов в выборке невелико или если для исследователя существенен знак связи, то использование корреляционного отношения? может оказаться здесь неадекватным. Вычисление же коэффициента ранговой корреляции позволяет обойти указанные трудности.
Практическая часть
Задача 1. Корреляционно-регрессионный анализ
Постановка и формализация задачи:
Дана эмпирическая выборка, составленная на основе ряда наблюдений за состоянием оборудования (на предмет отказа) и количеством изготовленных изделий. Выборка неявно характеризует взаимосвязь между объемом отказавшего оборудования и количеством изготовленных изделий. По смыслу выборки видно, что изготовленные изделия производятся на оставшемся в строю оборудовании так как чем больше % отказавшего оборудования, тем меньше изготовленных изделий. Требуется провести исследование выборки на корреляционно-регрессионную зависимость, то есть установить форму зависимости, оценить функцию регрессии (регрессионный анализ), а также выявить связь между случайными переменными и оценить ее тесноту (корреляционный анализ). Дополнительной задачей корреляционного анализа является оценка уравнения регрессии одной переменной по другой. Кроме того, необходимо спрогнозировать количество выпущенных изделий при 30%-ном отказе оборудования.
Формализуем приведенную выборку в таблице, обозначив данные «Отказ оборудования, %» как X, данные «Количество изделий» как Y:
Исходные данные. Таблица 1
По физическому смыслу задачи видно, что количество выпущенных изделий Y напрямую зависит от % отказа оборудования, то есть налицо зависимость Y от X. При проведении регрессионного анализа требуется найти математическую зависимость (регрессию), связывающую величины X и Y. При этом регрессионный анализ, в отличие от корреляционного, предполагает, что величина X выступает как независимая переменная, или фактор, величина Y - как зависимая от нее, или результативный признак. Таким образом, требуется произвести синтезирование адекватной экономико-математической модели, т.е. определить (найти, подобрать) функцию Y = f(X), характеризующую зависимость между величинами X и Y, используя которую можно будет спрогнозировать значение Y при X = 30. Решение данной задачи может быть выполнено с помощью корреляционно-регрессионного анализа.
Краткий обзор методов решения корреляционно-регрессионных задач и обоснование выбираемого метода решения.
Методы регрессионного анализа по числу факторов, влияющих на результативный признак, подразделяются на одно- и многофакторные. Однофакторные - число независимых факторов = 1, т.е. Y = F(X)
многофакторный - число факторов > 1, т.е.
По числу исследуемых зависимых переменных (результативных признаков) регрессионные задачи также можно разделить на задачи с одним и многими результативными признаками. В общем виде задача с многими результативными признаками может быть записана:
Метод корреляционно-регрессионного анализа заключается в нахождении параметров аппроксимирующей(приближающей) зависимости вида
Поскольку в приведенной задаче фигурирует только одна независимая переменная, т. е. исследуется зависимость только от одного фактора, влияющего на результат, следует применить исследование на однофакторную зависимость, или парную регрессию.
При наличии только одного фактора зависимость определяется в виде:
Форма записи конкретного уравнения регрессии зависит от выбора функции, отображающей статистическую связь между фактором и результативным признаком и включает следующие:
линейная регрессия, уравнение вида,
параболическая, уравнение вида
кубическая, уравнение вида
гиперболическая, уравнение вида
полулогарифмическая, уравнение вида
показательная, уравнение вида
степенная, уравнение вида.
Нахождение функции сводится к определению параметров регрессионного уравнения и оценке достоверности самого уравнения. Для определения параметров можно использовать как метод наименьших квадратов, так и метод наименьших модулей.
Первый из них заключается в том, чтобы сумма квадратов отклонений эмпирических значений Yi от рассчитанных средних Yi, была минимальной.
Метод наименьших модулей заключается в минимизации суммы модулей разности эмпирических значений Yi и рассчитанных средних Yi.
Для решения задачи выберем метод наименьших квадратов, как наиболее простой и дающий хорошие по статистическим свойствам оценки.
Технология решения задачи регрессионного анализа с помощью метода наименьших квадратов.
Определить вид зависимости (линейная, квадратичная, кубическая и т.д.) между переменными можно с помощью оценки величины отклонения фактического значения y от расчетного:
где - эмпирические значения, - расчетные значения по аппроксимирующей функции. Оценивая значения Si для различных функций и выбирая наименьшее из них, подбираем аппроксимирующую функцию.
Вид той или иной функции определяется с помощью нахождения коэффициентов, которые находятся для каждой функции как решения определенной системы уравнений:
линейная регрессия, уравнение вида, система -
параболическая, уравнение вида, система -
кубическая, уравнение вида, система -
Решив систему, находим, с помощью которых приходим к конкретному выражению аналитической функции, имея которую, находим расчетные значения. Далее есть все данные для нахождения оценки величины отклонения S и анализа на минимум.
Для линейной зависимости оцениваем тесноту связи между фактором X и результативным признаком Y в виде коэффициента корреляции r:
Среднее значение показателя;
Среднее значение фактора;
y - экспериментальное значение показателя;
x - экспериментальное значение фактора;
Среднеквадратическое отклонение по х;
Среднеквадратическое отклонение по y.
Если коэффициент корреляции r = 0, то считают, что связь между признаками незначительна либо отсутствует, если r = 1, то между признаками существует весьма высокая функциональная связь.
Используя таблицу Чеддока, можно провести качественную оценку тесноты корреляционной связи между признаками:
Таблица Чеддока Таблица 2.
Для нелинейной зависимости определяется корреляционное отношение (0 1) и индекс корреляции R, которые вычисляются по следующим зависимостям.
где значение - значение показателя, вычисленное по регрессионной зависимости.
В качестве оценки точности вычислений используем величину средней относительной ошибки аппроксимации
При высокой точности лежит в пределах 0-12%.
Для оценки подбора функциональной зависимости используем коэффициент детерминации
Коэффициент детерминации используется как «обобщенная» мера качества подбора функциональной модели, поскольку он выражает соотношение между факторной и общей дисперсией, точнее долю факторной дисперсии в общей.
Для оценки значимости индекса корреляции R применяется F-критерий Фишера. Фактическое значение критерия определяется по формуле:
где m - число параметров уравнения регрессии, n - число наблюдений. Величина сравнивается с критическим значением, которое определяется по таблице F-критерия с учетом принятого уровня значимости и числа степеней свободы и. Если, то величина индекса корреляции R признается существенной.
Для выбранной формы регрессии вычисляются коэффициенты уравнения регрессии. Результаты вычислений для удобства включаются в таблицу следующей структуры (в общем виде, количество колонок и их вид меняются в зависимости от вида регрессии):
Таблица 3
Решение задачи.
Провелись наблюдения за экономическим явлением - зависимостью выпуска изделий от процента отказа оборудования. Получена совокупность значений.
Выбранные значения описаны в таблице 1.
Строим график эмпирической зависимости по приведенной выборке (рис. 1)
По виду графика определяем, что аналитическую зависимость можно представить в виде линейной функции:
Рассчитаем парный коэффициент корреляции для оценки взаимосвязи между X и Y:
Построим вспомогательную таблицу:
Таблица 4
Решаем систему уравнений для нахождения коэффициентов и:
из первого уравнения, подставляя значение
во второе уравнение, получим:
Находим
Получаем вид уравнения регрессии:
9. Для оценки тесноты найденной связи воспользуемся коэффициентом корреляции r:
По таблице Чеддока устанавливаем, что для r = 0.90 связь между X и Y весьма высокая, следовательно достоверность уравнения регрессии также высока. Для оценки точности вычислений используем величину средней относительной ошибки аппроксимации:
Считаем, что величина обеспечивает высокую степень достоверности уравнения регрессии.
Для линейной связи между X и Y индекс детерминации равен квадрату коэффициента корреляции r: . Следовательно, 81% общей вариации объясняется изменением факторного признака X.
Для оценки значимости индекса корреляции R, который в случае прямолинейной зависимости по абсолютной величине равен коэффициенту корреляции r, применяется F-критерий Фишера. Определяем фактическое значение по формуле:
где m - число параметров уравнения регрессии, n - число наблюдений. То есть n = 5, m = 2.
С учетом принятого уровня значимости =0,05 и числа степеней свободы и получаем критическое табличное значение. Поскольку, величина индекса корреляции R признается существенной.
Вычислим прогнозное значение Y при X = 30:
Построим график найденной функции:
11. Определяем ошибку коэффициента корреляции по величине среднеквадратичного отклонения
а затем определяем значение нормированного отклонения
Из соотношения > 2 с вероятностью 95% можно говорить о значимости полученного коэффициента корреляции.
Задача 2. Линейная оптимизация
Вариант 1.
Планом развития региона предполагается ввести в действие 3 нефтяных месторождения с суммарным объемом добычи равным 9 млн.т. На первом месторождении объем добычи составляет не менее 1 млн.т, на втором - 3 млн. т, на третьем - 5 млн.т. Для достижения такой производительности необходимо пробурить не менее 125 скважин. Для реализации данного плана выделено 25 млн. руб. капитальных вложений (показатель К) и 80 км труб (показатель L).
Требуется определить оптимальное (максимальное) количество скважин для обеспечения плановой производительности каждого месторождения. Исходные данные по задаче приведены в таблице.
Исходные данные
Постановка задачи приведена выше.
Формализуем заданные в задаче условия и ограничения. Целью решения данной оптимизационной задачи является нахождение максимального значения добычи нефти при оптимальном количестве скважин по каждому месторождению с учетом существующих ограничений по задаче.
Целевая функция в соответствии с требованиями задачи примет вид:
где - количество скважин по каждому месторождению.
Существующие ограничения по задаче на:
длину прокладки труб:
число скважин на каждом месторождении:
стоимость строительства 1 скважины:
Задачи линейной оптимизации решаются, например, следующими методами:
Графически
Симплекс-методом
Использование графического способа удобно только при решении задач линейной оптимизации с двумя переменными. При большем числе переменных необходимо применение алгебраического аппарата. Рассмотрим общий метод решения задач линейной оптимизации называемый симплекс-методом.
Симлекс-метод - это характерный пример итерационных вычислений, используемых при решении большинства оптимизационных задач. Рассматриваются итерационные процедуры такого рода, обеспечивающие решение задач с помощью моделей исследования операций.
Для решения оптимизационной задачи с помощью симплекс-метода необходимо чтобы число неизвестных Xi было больше числа уравнений, т.е. система уравнений
удовлетворяла отношению m A=был равен m. Обозначим столбца матрицы A как, а столбец свободных членов как Базисным решением системы (1) называется набор из m неизвестных которые являются решением системы (1). Кратко алгоритм симплекс-метода описывается следующим образом: Исходное ограничение, записанное в виде неравенства типа <= (=>) , можно представить в виде равенства, прибавляя остаточную переменную к левой части ограничения (вычитая избыточную переменную из левой части) . Например, в левую часть исходного ограничения вводится остаточная переменная, в результате чего исходное неравенство обращается в равенство Если исходное ограничение определяет расход труб, то переменную следует интерпретировать как остаток, или неиспользованную часть данного ресурса. Максимизация целевой функции эквивалентна минимизации той же функции, взятой с противоположным знаком. То есть в нашем случае эквивалентна Составляется симплекс-таблица для базисного решения следующего вида: В данной таблице обозначают, что после решения задачи в этих клетках будет стоять базисное решение. - частные от деления столбца на один из столбцов; - дополнительные множители обнуления значений в клетках таблицы, относящихся к разрешающему столбцу. - min значение целевой функции -Z, - значения коэффициентов в целевой функции при неизвестных. Среди значений находят любое положительное. Если такого нет, то задача считается решенной. Выбирают любой столбец таблицы, в котором есть, этот столбец называется «разрешающим» столбцом. Если среди элементов разрешающего столбца нет положительных чисел, то задача неразрешима вследствие неограниченности целевой функции на множестве ее решений. Если положительные числа в разрешающем столбце присутствуют, переходят к пункту 5. Столбец заполняется дробями, в числителе которых - элементы столбца, а в знаменателе - соответствующие элементы разрешающего столбца. Из всех значений выбирается наименьшее. Строка, в которой получилось наименьшееназывается «разрешающей» строкой. На пересечении разрешающей строки и разрешающего столбца находят разрешающий элемент, который выделяют каким-либо образом, например, цветом. На основе первой симплекс-таблицы составляется следующая, в которой: Заменяется вектор-строка на вектор-столбец разрешающая строка заменяется этой же строкой, поделенной на разрешающий элемент каждая из остальных строк таблицы заменяется на сумму этой строки с разрешающей, умноженной на специально подобранный дополнительный множитель с целью получения 0 в клетке разрешающего столбца. С новой таблицей обращаемся у пункту 4. Решение задачи. Исходя из постановки задачи имеем следующую систему неравенств: и целевую функцию Преобразуем систему неравенств в систему уравнений, введя дополнительные переменные: Целевую функцию приведем к ей эквивалентной: Построим исходную симплекс-таблицу: Выберем разрешающий столбец. Рассчитаем столбец: Заносим значения в таблицу. По наименьшему из них = 10 определяем разрешающую строку: . На пересечении разрешающей строки и разрешающего столбца находим разрешающий элемент = 1. Заполняем часть таблицы дополнительными множителями, такими, что: помноженная на них разрешающая строка, добавленная к остальным строкам таблицы, образовывает 0-ли в элементах разрешающего столбца. Составляем вторую симплекс-таблицу: В ней разрешающим столбцом берем, вычисляем значения, заносим их в таблицу. По минимальному получаем разрешающую строку. Разрешающим элементом будет 1. Находим дополнительные множители, заполняем столбцы. Составляем следующую симплекс-таблицу: Аналогичным образом, находим разрешающий столбец, разрешающую строку и разрешающий элемент = 2. Строим следующую симплекс-таблицу: Поскольку в строке -Z нет положительных значений, эта таблица является конечной. Первый столбец дает искомые значения неизвестных, т.е. оптимальное базисное решение: При этом значение целевой функции -Z = -8000, что эквивалентно Zmax = 8000. Задача решена. Задача 3. Кластерный анализ Постановка задачи: Провести разбиение объектов на основании данных, приведенных в таблице. Выбор метода решения провести самостоятельно, построить график зависимости данных. Вариант 1. Исходные данные Обзор методов решения указанного типа задач. Обоснование метода решения. Задачи кластерного анализа решаются с помощью следующих методов: Объединение или метод древовидной кластеризации используется при формировании кластеров «несходства» или «расстояния между объектами». Эти расстояния могут определяться в одномерном или многомерном пространстве. Двувходовое объединение используется (относительно редко) в обстоятельствах, когда данные интерпретируются не в терминах «объектов» и «свойств объектов», а в терминах наблюдений и переменных. Ожидается, что и наблюдения и переменные одновременно вносят вклад в обнаружение осмысленных кластеров. Метод К-средних. Используется, когда уже имеется гипотеза относительно числа кластеров. Можно указать системе образовать ровно, например, три кластера так, чтобы они были настолько различны, насколько это возможно. В общем случае метод K-средних строит ровно K различных кластеров, расположенных на возможно больших расстояниях друг от друга. Существуют следующие способы измерения расстояний: Евклидово расстояние. Это наиболее общий тип расстояния. Оно попросту является геометрическим расстоянием в многомерном пространстве и вычисляется следующим образом: Заметим, что евклидово расстояние (и его квадрат) вычисляется по исходным, а не по стандартизованным данным. Расстояние городских кварталов (манхэттенское расстояние). Это расстояние является просто средним разностей по координатам. В большинстве случаев эта мера расстояния приводит к таким же результатам, как и для обычного расстояния Евклида. Однако отметим, что для этой меры влияние отдельных больших разностей (выбросов) уменьшается (так как они не возводятся в квадрат). Манхэттенское расстояние вычисляется по формуле: Расстояние Чебышева. Это расстояние может оказаться полезным, когда желают определить два объекта как "различные", если они различаются по какой-либо одной координате (каким-либо одним измерением). Расстояние Чебышева вычисляется по формуле: Степенное расстояние. Иногда желают прогрессивно увеличить или уменьшить вес, относящийся к размерности, для которой соответствующие объекты сильно отличаются. Это может быть достигнуто с использованием степенного расстояния. Степенное расстояние вычисляется по формуле: где r и p - параметры, определяемые пользователем. Несколько примеров вычислений могут показать, как "работает" эта мера. Параметр p ответственен за постепенное взвешивание разностей по отдельным координатам, параметр r ответственен за прогрессивное взвешивание больших расстояний между объектами. Если оба параметра - r и p, равны двум, то это расстояние совпадает с расстоянием Евклида. Процент несогласия. Эта мера используется в тех случаях, когда данные являются категориальными. Это расстояние вычисляется по формуле: Для решения поставленной задачи выберем метод объединения (древовидной кластеризации) как наиболее отвечающий условиям и постановке задачи (провести разбиение объектов). В свою очередь метод объединения может использовать несколько вариантов правил связи: Одиночная связь (метод ближайшего соседа). В этом методе расстояние между двумя кластерами определяется расстоянием между двумя наиболее близкими объектами (ближайшими соседями) в различных кластерах. То есть любые два объекта в двух кластерах ближе друг к другу, чем соответствующее расстояние связи. Это правило должно, в известном смысле, нанизывать объекты вместе для формирования кластеров, и результирующие кластеры имеют тенденцию быть представленными длинными "цепочками". Полная связь (метод наиболее удаленных соседей). В этом методе расстояния между кластерами определяются наибольшим расстоянием между любыми двумя объектами в различных кластерах (т.е. "наиболее удаленными соседями"). Существует также множество других методов объединения кластеров, подобных этим (например, невзвешенное попарное соединение, взвешенное попарное соединение и др.). Технология метода решения. Расчет показателей. На первом шаге, когда каждый объект представляет собой отдельный кластер, расстояния между этими объектами определяются выбранной мерой. Так как в задаче не обуславливаются единицы измерения признаков, подразумевается, что они совпадают. Следовательно, нет необходимости в нормировании исходных данных, поэтому сразу переходим к расчету матрицы расстояний. Решение задачи. Построим по исходным данным график зависимости (рис 2) В качестве расстояния между объектами примем обычное евклидовое расстояние. Тогда согласно формуле: где l - признаки; k - количество признаков, расстояние между объектами 1 и 2 равно: Продолжаем расчет остальных расстояний: Из полученных значений построим таблицу: Наименьшее расстояние. Значит, элементы 3,6 и 5 объединяем в один кластер. Получим следующую таблицу: Наименьшее расстояние. В один кластер объединяются элементы 3,6,5 и 4. Получаем таблицу из двух кластеров: Минимальное расстояние между элементами 3 и 6 равно. Значит, элементы 3 и 6 объединяются в один кластер. Расстояние между вновь образованным кластером и остальными элементами выбираем максимальным. Например, расстояние между кластером 1 и кластером 3,6 равно max(13.34166, 13.60147)= 13.34166. Составим следующую таблицу: В ней минимальное расстояние - это расстояние между кластерами 1 и 2. Объединяя 1 и 2 в один кластер, получаем: Таким образом, методом «дальнего соседа» получили два кластера: 1,2 и 3,4,5,6 , расстояние между которыми равно 13,60147. Задача решена. Приложения. Решение задач с использованием пакетов прикладных программ (MS Excel 7.0) Задача корреляционно-регрессионного анализа. Заносим исходные данные в таблицу (рис. 1) Выбираем меню «Сервис / Анализ данных». В появившемся окне выбираем строку «Регрессия» (рис.2). Зададим в следующем окне входные интервалы по X и по Y, уровень надежности оставим 95%, а выходные данные поместим на отдельный лист «Лист отчета» (рис. 3) После проведения расчета получаем на листе «Лист отчета» итоговые данные регрессионного анализа: Здесь же выводится точечный график аппроксимирующей функции, или «График подбора»: Расчетные значения и отклонения выведены в таблице в колонках «Предсказанное Y» и «Остатки» соответственно. На основе исходных данных и отклонений строится график остатков: Оптимизационная задача Вносим исходные данные следующим образом: Искомые неизвестные X1, X2, X3 заносим в ячейки С9, D9, E9 соответственно. Коэффициенты целевой функции при X1, X2, X3 вносим в С7, D7, E7 соответственно. Целевую функцию заносим в ячейку B11как формулу: =C7*C9+D7*D9+E7*E9. Существующие ограничения по задаче На длину прокладки труб: вносим в ячейки С5, D5, E5, F5, G5 Число скважин на каждом месторождении: X3 Ј 100; вносим в ячейки С8, D8, E8. Стоимость строительства 1 скважины: вносим в ячейки С6, D6, E6, F6, G6. Формулу расчета общей протяженности C5*C9+D5*D9+E5*E9 помещаем в ячейку В5, формулу расчета общей стоимости C6*C9+D6*D9+E6*E9 помещаем в ячейке B6. Выбираем в меню «Сервис/ Поиск решения», вносим параметры для поиска решения в соответствии с заведенными исходными данными (рис. 4): По кнопке «Параметры» задаем следующие параметры поиска решения (рис. 5): После выполнения поиска решения получаем отчет по результатам: Microsoft Excel 8.0e Отчет по результатам Отчет создан: 11/17/2002 1:28:30 AM Целевая ячейка (Максимум) Результат Общая добыча Изменяемые ячейки Результат Количество скважин Количество скважин Количество скважин Ограничения Значение Протяженность Связанное Стоимость проекта не связан. Количество скважин не связан. Количество скважин Связанное Количество скважин Связанное В первой таблице приводится исходное и окончательное (оптимальное) значение целевой ячейки, в которую поместили целевую функцию решаемой задачи. Во второй таблице видим исходные и окончательные значения оптимизируемых переменных, которые содержатся в изменяемых ячейках. Третья таблица отчета по результатам содержит информацию об ограничениях. В столбце «Значение» помещены оптимальные значения потребных ресурсов и оптимизируемых переменных. Столбец «Формула» содержит ограничения на потребляемые ресурсы и оптимизируемые переменные, записанные в форме ссылок на ячейки, содержащие эти данные. Столбец «Состояние» определяет связанными или несвязанными являются те или другие ограничения. Здесь «связанные» - это ограничения, реализуемые в оптимальном решении в виде жестких равенств. Столбец «Разница» для ресурсных ограничений определяет остаток используемых ресурсов, т.е. разность между потребным количеством ресурсов и их наличием. Аналогично, записав результат поиска решения в форме «Отчет по устойчивости», получим следующие таблицы: Microsoft Excel 8.0e Отчет по устойчивости Рабочий лист: [Решение задачи оптимизации.xls]Решение задачи по опт-ии добычи Отчет создан: 11/17/2002 1:35:16 AM Изменяемые ячейки Допустимое Допустимое значение стоимость Коэффициент Увеличение Уменьшение Количество скважин Количество скважин Количество скважин Ограничения Ограничение Допустимое Допустимое значение Правая часть Увеличение Уменьшение Протяженность Стоимость проекта Отчет по устойчивости содержит информацию об изменяемых (оптимизируемых) переменных и ограничениях модели. Указанная информация связана с используемым при оптимизации линейных задач симплекс-методом, описанному выше в части решения задачи. Она позволяет оценить, насколько чувствительным является полученное оптимальное решение к возможным изменениям параметров модели. Первая часть отчета содержит информацию об изменяемых ячейках, содержащих значения о количестве скважин на месторождениях. В столбце «Результирующее значение» указываются оптимальные значения оптимизируемых переменных. В столбце «Целевой коэффициент» помещаются исходные данные значения коэффициентов целевой функции. В следующих двух колонках иллюстрируется допустимое увеличение и уменьшение этих коэффициентов без изменения найденного оптимального решения. Вторая часть отчета по устойчивости содержит информацию по ограничениям, накладываемым на оптимизируемые переменные. В первом столбце указываются данные о потребности в ресурсах для оптимального решения. Второй содержит значения теневых цен на используемые виды ресурсов. В последних двух колонках помещены данные о возможном увеличении или уменьшении объемов имеющихся ресурсов. Задача кластеризации. Пошаговый метод решения задачи приведен выше. Приведем здесь Excel-таблицы, иллюстрирующие ход решения задачи: «метод ближайшего соседа» Решение задачи кластерного анализа - "МЕТОД БЛИЖАЙШЕГО СОСЕДА" Исходные данные где х1 - объем выпускаемой продукции; х2 - среднегодовая стоимость основных Промышленно-производственных фондов «метод дальнего соседа» Решение задачи кластерного анализа - "МЕТОД ДАЛЬНЕГО СОСЕДА" Исходные данные где х1 - объем выпускаемой продукции; х2 - среднегодовая стоимость основных Промышленно-производственных фондов Назначение сервиса
. С помощью данного онлайн-калькулятора производится расчет коэффициента ранговой корреляции Кендэла
по всем основным формулам, а также оценка его значимости. Инструкция
. Укажите количество данных (количество строк). Полученное решение сохраняется в файле Word
.
Предложенный Кендэлом коэффициент строится на основе отношений типа «больше –меньше», справедливость которых установлена при построении шкал.
Пример
. Зависимость между объемом промышленной продукции и инвестициями в основной капитал по 10 областям одного из федеральных округов РФ в 2003 году характеризуется следующими данными: Решение
. Присвоим ранги признаку Y и фактору X. Пример
. По данным об объеме строительно-монтажных работ, выполненных собственными силами, и численности работающих в 10 строительных компаниях одного из городов РФ, определить зависимость между этими признаками с помощью коэффициента Кендела. Решение
находим с помощью калькулятора .
Ранговый коэффициент корреляции
характеризует общий характер нелинейной зависимости: возрастание или убывание результативного признака при возрастании факторного. Это показатель тесноты монотонной нелинейной связи.
Выделим пару объектов и сравним их ранги по одному признаку и по другому. Если по данному признаку ранги образуют прямой порядок (т.е. порядок натурального ряда), то паре приписывается +1, если обратный, то –1. Для выделенной пары соответствующие плюс – минус единицы (по признаку X и по признаку Y) перемножаются. Результат, очевидно, равен +1; если ранги пары обоих признаков расположены в одинаковой последовательности, и –1 , если в обратной.
Если порядки рангов по обоим признакам у всех пар одинаковы, то сумма единиц, приписанных всем парам объектов, максимальна и равна числу пар. Если порядки рангов всех пар обратны, то –C 2 N . В общем случае C 2 N = P + Q, где P – число положительных, а Q – отрицательных единиц, приписанных парам при сопоставлении их рангов по обоим признакам.
Величина называется коэффициентом Кендалла.
Из формулы видно, что коэффициент τ представляет собой разность доли пар объектов, у которых совпадает порядок по обоим признакам (по отношению к числу всех пар) и доли пар объектов, у которых порядок не совпадает .
Например, значение коэффициента 0,60 означает, что у 80% пар порядок объектов совпадает, а у 20% не совпадает (80% + 20% = 100%; 0,80 – 0,20 = 0,60). Т.е. τ можно трактовать как разность вероятностей совпадения и не совпадения порядков по обоим признакам для наугад выбранной пары объектов.
В общем случае расчет τ (точнее Р или Q) даже для N порядка 10 оказывается громоздким.
Покажем, как упростить вычисления.
Вычислите ранговые коэффициенты корреляции Спирмена и Кендэла. Проверить их значимость при α=0,05. Сформулируйте вывод о зависимости между объемом промышленной продукции и инвестициями в основной капитал по рассматриваемым областям РФ.
Упорядочим данные по X.
В ряду Y справа от 3 расположено 7 рангов, превосходящих 3, следовательно, 3 породит в Р слагаемое 7.
Справа от 1 стоят 8 ранга, превосходящих 1 (это 2, 4, 6, 9, 5, 10, 7, 8), т.е. в Р войдет 8 и т.д. В итоге Р = 37 и с использованием формул имеем: X
Y
ранг X, d x
ранг Y, d y
P
Q
18.4
5.57
1
3
7
2
20.6
2.88
2
1
8
0
21.5
4.12
3
2
7
0
35.7
7.24
4
4
6
0
37.1
9.67
5
6
4
1
39.8
10.48
6
9
1
3
51.1
8.58
7
5
3
0
54.4
14.79
8
10
0
2
64.6
10.22
9
7
1
0
90.6
10.45
10
8
0
0
37
8
По упрощенным формулам:
где n - объем выборки; z kp - критическая точка двусторонней критической области, которую находят по таблице функции Лапласа по равенству Ф(z kp)=(1-α)/2.
Если |τ| < T kp - нет оснований отвергнуть нулевую гипотезу. Ранговая корреляционная связь между качественными признаками незначима. Если |τ| > T kp - нулевую гипотезу отвергают. Между качественными признаками существует значимая ранговая корреляционная связь.
Найдем критическую точку z kp
Ф(z kp) = (1-α)/2 = (1 - 0.05)/2 = 0.475
Найдем критическую точку:
Так как τ > T kp - отвергаем нулевую гипотезу; ранговая корреляционная связь между оценками по двум тестам значимая.
Присвоим ранги признаку Y и фактору X.
Расположим объекты так, чтобы их ранги по X представили натуральный ряд. Так как оценки, приписываемые каждой паре этого ряда, положительные, значения «+1», входящие в Р, будут порождаться только теми парами, ранги которых по Y образуют прямой порядок.
Их легко подсчитать, сопоставляя последовательно ранги каждого объекта в ряду Y с стальными.
Коэффициент Кендэла
.
В общем случае расчет τ (точнее Р или Q) даже для N порядка 10 оказывается громоздким. Покажем, как упростить вычисления.
или
Решение
.
Упорядочим данные по X.
В ряду Y справа от 2 расположено 8 рангов, превосходящих 2, следовательно, 2 породит в Р слагаемое 8.
Справа от 4 стоят 6 ранга, превосходящих 4 (это 7, 5, 6, 8, 9, 10), т.е. в Р войдет 6 и т.д. В итоге Р = 29 и с использованием формул имеем: X
Y
ранг X, d x
ранг Y, d y
P
Q
38
292
1
2
8
1
50
302
2
4
6
2
52
366
3
7
3
4
54
312
4
5
4
2
59
359
5
6
3
2
61
398
6
8
2
2
66
401
7
9
1
2
70
298
8
3
1
1
71
283
9
1
1
0
73
413
10
10
0
0
29
16
По упрощенным формулам:
Для того чтобы при уровне значимости α проверить нулевую гипотезу о равенстве нулю генерального коэффициента ранговой корреляции Кендалла при конкурирующей гипотезе Н 1: τ ≠ 0,надо вычислить критическую точку:
где n - объем выборки; z kp - критическая точка двусторонней критической области, которую находят по таблице функции Лапласа по равенству Ф(z kp)=(1 - α)/2.
Если |τ| T kp - нулевую гипотезу отвергают. Между качественными признаками существует значимая ранговая корреляционная связь.
Найдем критическую точку z kp
Ф(z kp) = (1 - α)/2 = (1 - 0.05)/2 = 0.475
По таблице Лапласа находим z kp = 1.96
Найдем критическую точку:
Так как τ