Управление конкурентным бенчмаркингом в торговле на основе анализа DEA



Опубликовано в журнале "Менеджмент в России и за рубежом" №4 год - 2006




директор ООО КонСи

Костерин И.Г.,
аспирант НГУ им. Н.И. Лобачевского

Мы предлагаем технологию управления процессом конкурентного бенчмаркинга на основе последовательного применения процедур анализа DEA [1, 2]. DEA (Data Envelopment Analysis) — широко известный метод количественного анализа эффективности функционирования элементов системы однородных экономических объектов [2]. Предлагается применить метод DEA как основной элемент управления технологией бенчмаркинга [3—7] для системы конкурирующих магазинов.

Рассмотрим результаты работы 30 конкурирующих магазинов, которые торгуют продуктами питания. Магазины принадлежат разным владельцам. Между магазинами наблюдается конкурентная борьба за покупателя. Данные были получены в ходе маркетингового исследования [8] на основе оперативного наблюдения за работой магазинов-конкурентов и привлечения бухгалтерской отчетности собственных магазинов. Магазины оцениваются набором параметров. В соответствии с методом DEA параметры разделены на два типа – входные и выходные [1]. Входные параметры определяются как ресурсы, которые магазин использует в своей работе, и условия, при которых происходит его деятельность. Выходные параметры представляют результаты торгового процесса магазина. Метод DEA не накладывает каких-либо ограничений на семантику параметров. Для оценки магазинов используем следующие входные и выходные параметры

Входные параметры

1.

Ассортимент товара. Характеризует широту товарного ассортимента магазина.

2.

Внешняя реклама. Характеризует объем рекламы магазина в СМИ, на рекламных щитах по городу.

3.

Внутренняя реклама. Характеризует наличие рекламы товаров внутри магазина.

4.

Коммуникабельность персонала. Оценка работы персонала магазина с клиентами.

5.

Наличие автомобильной парковки. Качественная оценка размеров автомобильной парковки.

 

Для определенности рассматриваются два ближайших конкурента. Для их описания вводятся два параметра.


6.

Ассортимент 1 для первого конкурента.

7.

Ассортимент 2 для второго конкурента.

8.

Количество посетителей в день.

9.

Размер торговой площади.

 

Выходные параметры

Выручка за день. Оценка для магазинов-конкурентов проводилась при маркетинговом исследовании их работы, опросом покупателей, выходящих из магазина. В таблице 1 приведен пример описания параметров для изучаемой торговой системы магазинов.

Владельцам магазинов важно знать, насколько эффективно использует каждый магазин свои ресурсы и условия работы для получения выручки. Также важно определить, какую выручку может получать каждый магазин при эффективном использовании всех имеющихся в его распоряжении ресурсов. Рассмотрим формальную модель решения указанных задач.

Формальные постановки сравнительного анализа магазинов-конкурентов

Для решения задач сравнительного анализа системы конкурирующих магазинов будем использовать DEA [1, 2]. В основе DEA лежит понятие «относительной эффективности» [1, 2, 9]. Фаррел [9] определил эффективность как отношение функции полезности, построенной на выходах, к функции полезности, построенной на входах. Относительная эффективность изучаемых объектов определяется как решение оптимизационной задачи линейного программирования [1, 10]. Традиционно в DEA используются оптимизационные модели двух типов: входоориентированная и выходоориентированная [2].

Входоориентированную модель целесообразно применить в рассматриваемой задаче сопоставления магазинов-конкурентов, когда необходимо оценить эффективность использования каждым магазином своих ресурсов для получения наблюдаемого объема выручки.

Выходоориентированную модель предлагается применить для оценки максимальной выручки, которую может получить каждый магазин при оптимальном использовании имеющихся у него ресурсов.

При построении модели DEA используется гипотеза о существовании идеального магазина [1]. Для каждого магазина формулируется задача поиска значений параметров идеального магазина. Идеал есть магазин, к которому следует стремиться рассматриваемому магазину, чтобы он стал работать эффективно. Параметры идеального магазина строятся на основе вычисляемых вкладов других магазинов, которые передают идеалу свою лучшую практику работы. Формально вышеуказанные модели записываются следующим образом.

Входоориентированная модель

(1.1)

 

 

(1.2)

 

 

(1.3)

 

 

(1.4)

 

 

(1.5)

 

 

(1.6)

 

Выходо-ориентированная модель

(1.7)

 

 

(1.8)

 

 

(1.9)

 

 

(1.10)

 

 

(1.11)

 

 

(1.12)

 

Исходные параметры моделей приведены в таблице 1 и обозначены как

xij — i-й вход магазина j, j = 1, …, n;

yrj — r-й выход магазина j, j = 1, …, n.

Неизвестными переменными являются коэффициенты j (лямбда), которые интерпретируются как вклады магазинов в построение идеала рассматриваемого магазина с индексом 0.

Требуется найти такие значения вкладов, при которых достигается оптимальное значение целевой функции эффективности. Во входоориентированной задаче для рассматриваемого магазина коэффициент эффективности  должен быть максимальным. Это означает, что магазин будет эффективным, если он потребляет минимальное количество ресурсов, чтобы получить наблюдаемый объем выручки.

Для выходоориентированной модели коэффициент эффективности  должен быть минимальным. Это означает, что эффективный магазин получает максимально возможную выручку при текущем использовании ресурсов, которыми обладает.

При выполнении DEA постановки (1.1)—(1.6) и (1.7)—(1.12) определяются для каждого магазина из рассматриваемой совокупности n магазинов. Таким образом, для полного исследования эффективности всех магазинов должны быть решены n оптимизационных задач [1, 2].

В результате решения задач (1.1)—(1.6) и/или (1.7)—(1.12) для каждого изучаемого магазина установим конкурентные свойства магазина и его положение относительно других (n – 1) магазинов. При этом используем следующие понятия [1, 2, 11].

Лидер (от англ. best-performer) – эффективно работающий магазин, его коэффициент эффективности равен единице (=1 и =1). Лидер принадлежит Парето-оптимальной границе [12], построенной на множестве изучаемых магазинов, которые размещаются в пространстве многих параметров.

Аутсайдер (от англ. poor-performer) – неэффективно работающий магазин (его эффективность < 1 и > 1).

Идеал (от англ. target) – гипотетический магазин-лидер. Идеал строится для каждого аутсайдера. Для достижения эффективности аутсайдер должен работать так же, как его идеал. Идеал формально определяется в пространстве параметров как линейная комбинация точек [10], представляющих лидеров.

Эталон (от англ. peer) – магазин-лидер, который участвует в построении линейной комбинации идеала для аутсайдера. Его вклады в идеал не равны нулю.

Суперэффективность (от англ. superefficiency) – мера преимущества лидера перед конкурентами [11]. Применяется для сравнения лидеров между собой.

Для решения указанных оптимизационных задач применяются программные продукты, которые позволяют автоматизировать процесс подготовки системы линейных уравнений (1.1)—(1.6) и (1.7) — (1.12) и найти оптимальные решения с помощью симплекс метода [10]. В этой статье подготовка численного примера была проведена с помощью программного продукта KonSi – DEA Analysis [7]. На рисунке приведен график эффективности магазинов, данные о которых приведены в таблице 1. Расчет эффективности проводился для входоориентированной модели.

Рис. Сопоставление достигнутой эффективности на основе наблюдаемых параметров и эффективности, вычисленной на основе планируемых улучшений в работе собственных магазинов и предполагаемых новаций конкурентов

Таблица 1

Исходные значения параметров изучаемой системы конкурирующих магазинов

Объект бенчмаркинга/ Объект модели DEA

Ассортимент товара

Внешняя реклама

Внутренняя реклама

Коммуникабельность

Наличие автопарковки

Ассортимент конкурента 1

Ассортимент конкурента 2

Посещаемость в день тыс. человек

Торговая площадь тыс. кв. метров

Выручка за день тыс. долларов

Эффективность для входоориентированной задачи

Тип переменной

вход

вход

вход

вход

вход

вход

вход

вход

вход

выход

 

Обозначение переменной

х1

х2

х3

х4

х5

х6

х7

х8

х9

у1

Магазин 1

3

1

1

4

2

5

4

23,0

2

27,6

1,0

Магазин 2

4

2

3

5

2

3

3

21,0

2,25

25,2

1,0

Магазин 3

5

1

5

5

2

4

0

13,5

1,1

13,2

1,0

Магазин 4

4

4

3

5

1

4

5

14,0

2,5

12,8

0,985

Магазин 5

4

4

3

4

2

3

3

35,0

3,5

40

1,0

Магазин 6

5

4

4

4

2

4

4

28,5

2,7

31,2

0,913

Магазин 7

5

4

5

4

2

4

4

34,0

3,8

31,5

0,780

Магазин 8

4

5

5

5

1

4

4

17,5

3

20

0,991

Магазин 9

4

4

5

4

1

4

4

2,04

3,2

25

0,960

Магазин 10

5

5

1

5

1

4

4

22,0

2,55

26,4

1,0

Магазин 11

4

3

1

1

1

4

5

25,0

2,3

30

1,0

Магазин 12

3

4

1

5

1

5

4

30,0

4,75

30

1,0

Магазин 13

4

4

3

5

1

4

3

25,0

3

26

1,0

Магазин 14

5

4

1

2

1

4

3

45,0

7

40

1,0

Магазин 15

4

4

2

4

2

3

4

22,0

2,7

23,4

1,0

Магазин 16

4

4

3

5

2

4

4

21,0

3,4

19,2

0,880

Магазин 17

4

3

2

2

1

5

5

30,0

1,95

36

1,0

Магазин 18

4

3

3

5

2

4

4

28,0

2,35

30,6

0,953

Магазин 19

5

3

3

4

2

4

4

27,0

5,2

29,4

0,907

Магазин 20

4

4

4

1

1

4

4

12,6

1,4

15,12

1,0

Магазин 21

4

3

1

1

1

4

4

19,5

2,8

21

1,0

Магазин 22

5

4

4

3

3

4

4

27,0

3,1

28,4

0,885

Магазин 23

5

4

4

4

2

4

4

15,0

2,35

14,8

0,844

Магазин 24

5

4

3

4

1

4

5

13,9

2,0

10

0,912

Магазин 25

4

2

1

4

1

4

4

12,8

1,75

15,36

1,0

Магазин 26

4

3

3

4

2

4

4

45,0

6,7

46

1,0

Магазин 27

4

3

4

4

1

3

4

14,5

1,5

12,4

1,0

Магазин 28

5

5

4

4

2

3

4

43,5

6,35

45,2

1,0

Магазин 29

4

4

3

4

1

4

4

21,0

2,1

20,2

0,978

Магазин 30

4

5

2

3

1

4

5

42,0

6,3

49,4

1,0

 

Примечание. Переменные х1–x7 являются качественными параметрами, измеренными по пятибалльной шкале. Последний столбец в таблице содержит вычисленные значения эффективности для входоориентированной модели

Примечание. Цифровые метки на графике обозначают номера магазинов. График построен с помощью программного продукта KonSi-Dea Analysis [7].

Для практического использования результатов решения рассматриваемых оптимизационных задач необходимо установить логически обоснованную последовательность проведения процедур DEA и их интерпретацию в терминах эффективности конкурирующих магазинов.

Процедуры DEA как аналитические инструменты бенчмаркинга

Среди многочисленных процедур и интерпретаций, которыми обладает DEA [1, 2, 11], целесообразно выделить ряд вычислительных приемов, которые мы используем как основу построения технологии управления бенчмаркингом магазинов. Рассмотрим логику взаимодействия вычислительных процедур DEA.

Расчет эффективности анализируемых магазинов. Все изучаемые магазины подвергаются процедуре DEA для вычисления эффективности их работы.

Выявление лидеров и аутсайдеров. После вычисления значений эффективности все рассматриваемые магазины разделяются на лидеров и аутсайдеров для последующего анализа.

Анализ аутсайдера. Для каждого аутсайдера может быть количественно измерено его отставание от лидеров и даны оценки изменений, которым должны быть подвергнуты параметры, чтобы аутсайдер увеличил эффективность своей деятельности.

Сравнение аутсайдера с идеалом. Аутсайдер сравнивается со своим идеалом. Значения параметров аутсайдера следует приблизить к идеальным оценкам. Например, при рассмотрении входоориентированной задачи (1.1)—(1.6) параметры идеала (входные параметры) имеют значения меньшие, чем у аутсайдера. Возможны две главные причины расхождения параметров идеала и изучаемого магазина. Во-первых, перерасход ресурса (избыточный ассортимент по отдельным товарным группам). Для эффективной работы магазина целесообразно использовать меньшее количество ресурса, чем затрачивается в текущий момент. Во-вторых, часто наблюдается неэффективное использование ресурса (торговая площадь, количество посетителей). Сократить использование таких ресурсов невозможно. Расхождение в значениях параметров идеала и магазина-аутсайдера объясняется неэффективным использованием имеющихся ресурсов. Чтобы аутсайдер смог приблизиться к своему идеалу, ему необходимо перестроить технологию использования ресурсов.

Анализ эталонов аутсайдера. У каждого аутсайдера может быть несколько эталонов. Эталоны — это магазины-лидеры, которые участвуют в формировании идеала. Чтобы устранить те недостатки в работе аутсайдера, которые были выявлены при сравнении его с идеалом, необходимо иметь реальный образец эффективно работающего магазина. Таким образцом служит магазин-эталон. Чтобы стать эффективным, аутсайдер должен изменить свою практику работы. Заимствовать лучшие методы работы следует у эталонов, так как это лидеры с наиболее близкой к аутсайдеру практикой использования ресурсов.

Анализ конкурентного окружения аутсайдера. Для успешного функционирования каждый магазин должен знать и отслеживать развитие своих конкурентов. В рамках DEA конкурентами для магазина-аутсайдера являются те магазины, которые стремятся к одному с аутсайдером эталону или группе эталонов. Наибольшую опасность представляют те аутсайдеры, которые имеют большие значения эффективности. Угроза может исходить от тех аутсайдеров, идеал которых содержит в себе значительные вклады эталонов исследуемого аутсайдера. Для распознавания конкурентов изучаемого аутсайдера предлагается процедура распознавания.

Процедура распознавания конкурентов для аутсайдера

— Для каждого эталона следует составить список всех аутсайдеров, которые его упоминают как эталон. Составленный список образован из потенциальных конкурентов аутсайдера.
— Для всех эталонов рассматриваемого аутсайдера следует сравнить составленные списки потенциальных конкурентов и выделить в них общие объекты, которые встречаются во всех списках. Если у какого-либо аутсайдера в качестве эталонов те же лидеры, что и у исследуемого аутсайдера, то это явный конкурент. Если исследуемый аутсайдер имеет лишь некоторые общие эталоны с другим аутсайдером, то последний является неявным конкурентом.
— Для всех конкурентов (явных и неявных) необходимо найти идеалы и сравнить их с идеалом изучаемого аутсайдера. Если идеал конкурента и идеал рассматриваемого аутсайдера имеют близкие значения параметров, то для аутсайдера такой конкурент является прямым конкурентом.

Анализ лидера. Обычно с позиций DEA среди изучаемой системы магазинов выделяют много лидеров. Такая ситуация часто встречается на практике, когда магазины описываются многими параметрами. Однако не всякий магазин, который является лидером согласно результатам DEA, является лидером в реальной торговой обстановке. Чтобы приблизить модели DEA анализа к реальным потребностям бенчмаркинга, для сравнения выделяемых лидеров между собой целесообразно проанализировать конкурентное окружение лидера и оценить его суперэффективность.

Исследование конкурентного окружения лидера. При изучении конкурентного окружения лидера предлагается воспользоваться понятием цитируемости лидера. Цитируемость есть число аутсайдеров, которые упоминают лидера как эталон. Если среди исследуемых объектов выделено много аутсайдеров, то расчет показателя цитируемости для каждого лидера позволяет разделить лидеров на «настоящих» и «случайных». «Настоящий» лидер достигает максимального значения эффективности при применении оптимальной практики работы. «Случайный» лидер не использует оптимальную практику работы. Это означает, что его входные параметры имеют наименьшие значения среди всех исследуемых магазинов.

Лидеры, которые чаще других эффективных магазинов участвуют в построении идеалов для аутсайдеров, обладают преимуществами перед лидерами, которые меньше цитируются. Часто цитируемые лидеры чаще являются эталонами. Практику их работы стремятся перенять аутсайдеры. Те магазины, которые перенимают технологию работы лидера, становятся его серьезными конкурентами, даже не достигнув эффективности лидера.

Процедура выявления конкурентов лидера

— Составить список всех аутсайдеров, которые ссылаются на исследуемого лидера.
— Упорядочить полученный список аутсайдеров по эффективности и значению вклада показателей лидера в идеал аутсайдера.

Если выделено мало аутсайдеров, то тогда даже «настоящие» лидеры могут иметь нулевую цитируемость. Если лидер работает по новаторской технологии, его могут не цитировать другие объекты.

Анализ суперэффективности лидера. Данная процедура позволяет исследовать лидера с позиций его удаления от ближайших конкурентов. Для этого вычисляется оценка суперэффективности для лидера. Вычисленная оценка показывает, насколько велико преимущество рассматриваемого лидера перед конкурентами.

Процедура анализа суперэффективности
Сопоставить показатели идеала и лидера. Смысл идеала в том, чтобы показать, при каких входных параметрах ближайшие конкуренты смогут получить такие же выходы. Чем больше разность между значениями входных параметров лидера и идеала, тем большим преимуществом обладает лидер перед своими ближайшими конкурентами. Некоторые параметры идеала могут оказаться лучше, чем у изучаемого лидера. В этом случае параметры лидера требуется улучшить до идеального значения для повышения конкурентоспособности.
Проанализировать показатели эталонов. При построении идеала для лидера указываются его эталоны – те лидеры, из показателей которых построен его идеал. Это ближайшие конкуренты. Преимущество лидера перед ними отражает значение суперэффективности. Ближайшие конкуренты создают максимальную угрозу изучаемому лидеру. Если они станут улучшать практику своей работы, то преимущество изучаемого лидера начнет таять.

Анализ big-лидеров. Среди выделяемых лидеров могут быть так называемые big-лидеры. Свойства их таковы, что их нельзя сравнить с другими объектами. Для них невозможно построить идеал и определить числовое значение суперэффективности. Обычно такие лидеры имеют среди всех изучаемых магазинов или самые малые входы, или самые большие выходы. Анализ big-лидеров проводится с помощью специальной процедуры.

Процедура анализа big-лидеров

Анализ цитируемости big-лидера. Цитируемость big-лидера означает, что его статус лидера достигнут в результате применения оптимальной практики использования ресурсов, а не за счет минимального значения какого-либо входа. Если лидера не цитируют, можно говорить о том, что статус лидера обеспечен не лучшей практикой работы, а математическими свойствами системы исследуемых объектов.
Анализ цитирующих лидеров. Лидер рассматриваемого типа может упоминаться другими лидерами в списке эталонов при построении идеала. Для понимания природы суперэффективности лидера необходимо сравнить его с другими эталонами тех же объектов.

Логика взаимодействия рассмотренных процедур DEA при изучении системы конкурирующих поддерживается с помощью программного продукта KonSi-DEA Analysis [7].

Технология управления бенчмаркингом на основе процедур DEA

Бенчмаркинг как технология поиска лучшей практики является процедурой постепенных улучшений работы изучаемых объектов [3, 6]. Ниже описывается технология управления бенчмаркингом на основе применения вычислительных процедур DEA. На основе предлагаемой авторами статьи технологии разработан программный продукт KonSi-DEA Analysis [7], который успешно применяется рядом компаний на отдельных этапах описываемой ниже технологии бенчмаркинга.

Предлагается реализовать управление бенчмаркингом в рамках изучения системы однородных конкурирующих объектов (магазинов) как последовательность следующих шагов.

Шаг 1. Мониторинг конкурентного окружения. Сбор информации о конкурирующих магазинах. Определение значений параметров для каждого магазина как исходной информации для модели DEA.

Шаг 2. Построение модели DEA и проведение расчетов для каждого изучаемого магазина. Для расчетов может быть использован программный продукт KonSi-DEA Analysis. Вычисляются эффективности магазинов, строится список аутсайдеров и список лидеров. Аналитик в данных списках выделяет свои магазины и магазины прямых конкурентов.

Шаг 3. Анализ аутсайдеров. Для каждого выделенного магазина-аутсайдера аналитик выясняет причины его неэффективной работы и вычисляет оценки улучшенных значений параметров, при которых отстающий магазин достигнет статуса лидера.

Шаг 4. Анализ лидеров. Для каждого выделенного магазина-лидера аналитик изучает его параметры, чтобы выявить конкурентные преимущества. Также аналитик определяет «цитируемость» лидера, чтобы оценить применимость практики его работы в сложившейся конкурентной среде.

Шаг 5. Разработка плана улучшений в работе магазинов своей фирмы. На основе полученных оценок магазинов торговой системы и предполагаемых действий конкурентов аналитик формирует план улучшений в деятельности магазинов своей фирмы на следующий период работы. Для собственных магазинов он устанавливает план улучшений, а для магазинов конкурентов указывает предположения о возможных новациях конкурентов.

Шаг 6. Анализ плана улучшений. Сформулированный план подвергается DEA (шаги 2—4). Оценки, предлагаемые аналитиком в качестве плановых, проверяются на выполнимость. Если в рамках возможных изменений всей торговой системы предполагаемое улучшение работы торговых точек не обеспечивает желаемого уровня эффективности, аналитик проводит коррекцию плана улучшений в работе собственных магазинов. При подготовке плана он учитывает ресурсы, которыми располагает фирма. На рисунке 1 приведен график текущей эффективности изучаемых магазинов и график плановой эффективности, которая вычисляется на плановых значениях параметров магазинов. Видно, что в результате перемен магазины с низкой эффективностью будут лучше работать, они реализуют предлагаемые новации.

Шаг 7. Внедрение плана изменений. Разработанный план улучшений сообщается исполнителям. В течение наступившего периода конкуренты развиваются. Вся изучаемая система магазинов переходит в новое состояние. Вновь необходимо выполнить цикл бенчмаркинга (шаги 1—7). Это означает, что следует провести повторное обследование конкурирующих магазинов. Аналитик корректирует список магазинов, которые образуют конкурентную среду на данном периоде, так как с момента проведения последних наблюдений количество изучаемых магазинов может измениться. Аналитик может изменить набор изучаемых параметров, которыми он описывает работу магазинов. После составления списка магазинов исследователь переходит к шагу 1 и повторяет всю последовательность действий. В результате достигается улучшение в работе магазинов собственной фирмы с учетом возможных улучшений или ухудшений в работе всех остальных магазинов.

Все данные о системе конкурирующих магазинов на каждом этапе бенчмаркинга фиксируются в программе KonSi-DEA Analysis. С помощью программы проводят сопоставительный анализ объектов и разработку планов развития собственных магазинов.

Заключение

Предложенная технология управления конкурентным бенчмаркингом с использованием процедур DEA-анализа находит применение при изучении работы торговой системы, насчитывающей сотни и тысячи магазинов. Сопоставительное изучение значительного числа магазинов может быть выполнено только с применением формальных методов. В качестве аппарата формализации предлагается использовать модели DEA. Предложенная логика применения процедур DEA обеспечивает четкую интерпретацию и количественную оценку позиции каждого магазина в изучаемой торговой системе. Значительный объем вычислительной работы может быть выполнен с применением специализированного программного продукта KonSi-DEA Analysis. Применение указанных инструментов для количественной оценки положения изучаемых объектов позволило авторам предложить общую технологию управления конкурентным бенчмаркингом для системы магазинов.

 

ЛИТЕРАТУРА

1. Charnes A., Cooper W.W. and Rhodes E. Measuring the efficiency of decision making units // European Journal of Operational Research. 2. 1978. 429—444.
2. Banker R., Charnes A. and Cooper W.W. Some models for estimating technical and scale inefficiencies in data envelopment analysis // Management Science 30. 1984. Р. 1078—1092.
3. Аренков И.А., Багиев Е.Г. Бенчмаркинг и маркетинговые решения. — СПб.: Изд-во СПбУЭФ, 1997.
4. Конкурентный бенчмаркинг и конкурентная разведка. Материалы сайта www.benchmarking.ru
5. Михайлова Е.А. Основы бенчмаркинга. – М.: Юрист, 2002.
6. Харрингтон Х.Дж., Харрингтон Дж.С. Бенчмаркинг в лучшем виде! : Пер. с англ.; Под ред. Б. Резниченко. – СПб.: Питер, 2004.
7. Модели и методы DEA-анализа. Материалы сайта www.data-envelopment-analysis.ru.
8. Костерин А.Г. Практика сегментирования рынка. – СПб.: Питер, 2002.
9. Farrell M.J. The measurement of productive efficiency // Journal of the Royal Statistical Society. Series A. General 125. Part 2. 252—267.
10. Данциг Дж. Линейное программирование, его применения и обобщения. — М.: Прогресс, 1966.
11. Staat M. and Hammerschmidt M. A Super Efficiency Model for Product Evaluation. Institute for Market-Oriented Management, University of Mannheim. — Germany: Working Paper, 2003.
12. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. – М.: Наука, 1982.

Также по этой теме: