Планировение и проведение экспериментов по определению параметров сетевых атак

На следующем этапе по проверке модели трафика необходимо выяснить, можно ли применить данную модель для задач сетевой безопасности, в частности, - для обнаружения сетевых атак.

Для того чтобы выяснить детали несанкционированного вторжения было решено провести эксперименты, имитирующие попытки атак. Они проводились на сети Самарского государственного аэрокосмического университета (СГАУ).

В качестве источника атаки использовались удаленные персональные компьютеры, подключенные к сети Интернет, находящиеся во внешней сети по отношению к исследуемой. Целью атаки являлся один из внутренних серверов сети СГАУ. В качестве NetFlow-сенсора был выбран пограничный маршрутизатор сети СГАУ Cisco 6509, NetFlow-коллектор - тот же сервер, который подвергался атаке.

При проведении сканирования был задействован только один компьютер, поскоольку атака сканирования портов производится с одиночных источников. Для сканирования применялась программа Nmap , которой было предписано провести полное сканирование всех портов атакуемого сервера.

Nmap - свободная утилита, предназначенная для разнообразного настраиваемого сканирования IP-сетей с любым количеством объектов, определения состояния объектов сканируемой сети (портов и соответствующих им служб). Nmap использует множество различных методов сканирования, таких как UDP, TCP (connect), TCP SYN (полуоткрытое), FTP proxy (прорыв через ftp), Reverse-ident, ICMP (ping), FIN, ACK, Xmas tree, SYN- и NULL-сканирование.

При осуществлении DDoS-атаки в качестве атакуемой цели был выбран тот же веб-сервер, что и при сканировании. Источниками атаки служили несколько компьютеров, находящихся во внешней сети. В первой части эксперимента атакующие компьютеры одновременно отправляли в течение получаса ping-запросы, осуществляя атаку ICMP-flood. Во второй части эксперимента атакующие компьютеры проводили DDoS-атаку при помощи специализированной программы LOIC. В течение часа веб-сервер подвергался атаке с применением различных типов трафика: HTTP, UDP, TCP. В ходе всех экспериментов производился сбор данных, которые впоследствии анализировались для выявления закономерностей разных типов атак.

Рисунок 1.16 – Схема эксперимента

Данные о потоках, которые служат основой для анализа, собирались с пограничного маршрутизатора сети Cisco 6509. Для сбора данных с маршрутизатора использовался NetFlow-коллектор nfdump . Экспорт NetFlow данных для анализа проводится с периодичностью пять минут. Каждые пять минут формируется файл с указанием параметров всех потоков, зафиксированных на маршрутизаторе в это время. Эти параметры перечислены во введении и включают в себя: время начала потока, длительность потока, протокол передачи данных, адрес и порт источника, адрес и порт назначения, число переданных пакетов, число переданных данных в байтах.

В результате анализа данных, собранных во время сканирования сети, было выявлено резкое увеличение числа активных потоков при практически неизменном количестве переданного трафика (см. Рис.1.16). Каждый сканирующий компьютер генерировал в течении 5 минут порядка 10-20 тысяч очень коротких потоков (размером до 50 байт). При этом суммарное число активных потоков на маршрутизаторе, генерируемое всеми пользователями, составляло порядка 50-60 тысяч.

На рисунке 1.17 изображен график состояния сети, по оси абсцисс откладывается число завершившихся потоков N, по оси ординат - суммарная нагрузка канала в Мегабит в секунду (Мбит/с). Каждая точка на графике отражает состояние исследуемой сети за предшествующий пятиминутный интервал, показывая зависимость средней нагрузки канала от числа активных потоков. Точки соответствуют нормальным состояниям сети, а треугольники - состояниям сети, зафиксированным во время сканирования портов. Отрезки, изображенные на графике и параллельные оси ординат, показывают доверительные интервалы для средней нагрузки, рассчитанные для пяти промежутков потоков (20000-30000, 30000-40000, 40000-50000, 50000-60000, 60000-70000).

Рисунок 1.17 – Сканирование портов

По итогам эксперимента с ping-запросами было выяснено, что на каждый атакующий компьютер приходился всего один очень длинный поток ICMP трафика, если посылать запросы по единственному порту. Поскольку данные об одном потоке записываются только по его завершению, то необходимые данные были записаны в файл nfdump уже по завершению атаки. Было обнаружен один аномально длинный поток трафика по протоколу ICMP, источником являлся атакующий компьютер. Таким образом, в результате анализа экспериментальных данных удалось определить атаку типа ICMP-flood. Следует отметить, что для достижения результата – сбоев в работе информационной системы одного активного потока ICMP-трафика явно недостаточно, счет должен идти на десятки тысяч запросов.

Анализ эксперимента по моделированию DDoS атаки утилитой LOIC также показал резкое увеличение числа активных потоков наряду с увеличением передаваемого трафика. Утилита параллельно отсылает данные на разные порты цели, создавая тем самым большое количество коротких потоков длительностью до минуты (см. Рис.1.18). Треугольниками изображены состояния сети, зафиксированные во время атаки.

Рисунок 1.18 – DDoS-атака

Таким образом, стало очевидным, что при помощи протокола NetFlow возможно выявить не только момент начала атаки, но и определить ее тип. Подробное описание алгоритмов обнаружения атак и работ по созданию защищенного хостинга можно найти в следующих разделах.

Литература

1. Bolla R., Bruschi R. RFC 2544 performance evaluation and internal measurements for a Linux based open router //High Performance Switching and Routing, 2006 Workshop on. – IEEE, 2006. – С. 6 pp.

2. Fraleigh C. et al. Packet-level traffic measurements from the Sprint IP backbone //IEEE network. – 2003. – Т. 17. – №. 6. – С. 6-16.

3. Park K., Kim G., Crovella M. On the relationship between file sizes, transport protocols, and self-similar network traffic //Network Protocols, 1996. Proceedings., 1996 International Conference on. – IEEE, 1996. – С. 171-180.

4. Fred S. B. et al. Statistical bandwidth sharing: a study of congestion at flow level //ACM SIGCOMM Computer Communication Review. – ACM, 2001. – Т. 31. – №. 4. – С. 111-122.

5. Barakat C. et al. A flow-based model for internet backbone traffic //Proceedings of the 2nd ACM SIGCOMM Workshop on Internet measurment. – ACM, 2002. – С. 35-47.

6. Sukhov A. M. et al. Active flows in diagnostic of troubleshooting on backbone links //Journal of High Speed Networks. – 2011. – Т. 18. – №. 1. – С. 69-81.

7. Lyon G. F. Nmap network scanning: The official Nmap project guide to network discovery and security scanning. – Insecure, 2009.

8. Haag P. Watch your Flows with NfSen and NFDUMP //50th RIPE Meeting. – 2005.

Ранговые распределения для определения пороговых значений сетевых переменных и анализа DDoS атак

Введение

Экспоненциальный рост интернет трафика и числа информационных источников сопровождается быстрым увеличением числа аномальных состояний сети. Аномальные состояния сети объясняются как причинами техногенного характера, так и человеческим фактором. Распознание аномальных состояний, созданных злоумышленниками достаточно тяжело из-за того, что они имитируют действия обычных пользователей . Поэтому такие аномальные состояния крайне сложно выявить и заблокировать. Задачи обеспечения надёжности и безопасности Интернет сервисов требуют изучения поведения пользователей на конкретном ресурсе.

В данной статье пойдёт речь о выявлении аномальных сетевых состояний и методах противодействия DDoS атакам . (Distributed Denial of Service, распределённая атака типа «отказ в обслуживании») – это такой тип атак, при котором некоторое множество компьютеров в сети Интернет, называемых «зомби», «ботами» или бот сетью (ботнет), по команде злоумышленника начинают отправлять запросы на сервис жертвы. Когда число запросов превышает возможности серверов жертвы, новые запросы от настоящих пользователей перестают обслуживаться и становится недоступным. При этом жертва несёт финансовые убытки.

Исследования, которые описаны в данной главе учебного пособия, используют унифицированный математический подход. Был выделен ряд важнейших сетевых переменных, которые генерирует внешний единичный IP адрес при обращении к заданному серверу или локальной сети. К таким переменным относятся: частота обращения к веб серверу (по заданному порту), число активных потоков, величина входящего TCP, UDP и ICMP трафика и т.д. Построенная инфраструктура позволила измерять величины для вышеперечисленных сетевых переменных.

После нахождения данных величин для анализируемых переменных в произвольный момент времени необходимо построить ранговое распределение. Для этого найденные значения располагаются в порядке убывания. Анализ сетевых состояний будет производиться путем сравнения соответствующих распределений. Особенно наглядно это сравнение, когда распределения для аномального и обычного состояния сети построены на одном графике. Подобный подход позволяет легко определить границу между обычным и аномальным состоянием сети.

Эксперименты по DDoS атаке на сервис можно провести с помощью эмуляции в лабораторных условиях. При этом ценность полученных результатов значительно меньше, чем при DDoS атаке на введённый в эксплуатацию коммерческий сервис, так как эмулятор не может полностью воспроизвести реальную компьютерную сеть. Кроме того, для полноценного понимания принципов и методов DDoS атаки необходим опыт работы с ней. Поэтому авторы анонимно договорились о проведении реальной DDoS атаки на специально подготовленный веб сервис. В процессе атаки был записан сетевой трафик, собрана статистика NetFlow. Изучение ранговых распределений для числа потоков и различных типов входящего трафика, генерируемых единичным внешним IP адресом, что позволило определить пороговые значения. Превышение пороговых значений можно классифицировать как признак атакующего узла, что позволяет сделать выводы об эффективности способов обнаружения и методов противодействия.

Лекция 5.

технологияРАНГОВогоАНАЛИЗа

ТЕХНОЦЕНОЗОВ

Вводные замечания

Ранговый анализ как основной инструмент техноценологического метода исследования больших технических систем определенного класса, базируется на трех основаниях: технократическом подходе к окружающей реальности, восходящем к третьей научной картине мира; началах термодинамики; негауссовойматематической статистике устойчивых безгранично делимых распределений.

Центром третьей научной картины мира представляется фундаментальное понятие, дополняющее принципиально новым стратификационным уровнем онтологическое описание окружающей реальности. Это техноценоз, главной отличительной чертой которого является специфика связей между техническими элементами-особями. В техноценозах сегодня видится прообраз будущей техносферы, которая по сложности организации и скорости эволюции превзойдет порождающую ее биологическую реальность.

Специфика техноценозов состоит в методологических основаниях их исследования. Техноценозы не поддаются описанию ни традиционными методами гауссовой математической статистики, оперирующей понятиями среднего и дисперсии как информативно насыщенными свертками больших массивов статистической информации, ни лежащими в основе редукционизма имитационными моделями. Чтобы корректно описать техноценоз, необходимо постоянно оперировать выборкой в целом, как бы велика она ни была, что предполагает построение видовых и ранговых распределений, теоретическая основа которых лежит в области негауссовой математической статистики устойчивых безгранично делимых распределений.

Методики построения видовых и ранговых распределений и их последующее использование в целях оптимизации техноценоза составляют основной смысл рангового анализа, содержание и технология которого представляют собой, по сути, новое фундаментальное научное направление, сулящее большие практические результаты.

Целевая установка лекции – подробно изложить методологию рангового анализа, систематизировать его технологию, включающую процедуры описания, обработки статистики, построения видовых и ранговых распределений, а также номенклатурной и параметрической оптимизации техноценозов.

5.1. Методикапостроения ранговых распределений

В основе рангового анализа лежит весьма сложный математический аппарат. Однако, как и в любой фундаментальной теории, здесь имеется определенный вполне доступный уровень решения задач, фактически граничащий с инженерной методологией. Глубокая теоретическая проработка, всестороннее философское осмысление и многократное апробирование на практике в самых различных областях человеческой деятельности позволяют считать ранговый анализ вполне надежным и, как мы теперь видим, единственным эффективным средством решения задач определенного класса (рис. 5.1).

Как представляется, ранговый анализ, позволяя решать задачи оптимального построения техноценозов, занимает своего рода промежуточное положение между имитационным модели-

рованием,спомощьюкоторогоосуществляетсяэффективное проектирование отдельных видов техники, и методологией исследования операций, применяемой в настоящее время для решения проблем геополитического и макроэкономического планирования. В этой связи представляется важным отметить два момента. Во-первых, отсутствие достаточно глубоко разработанной специальной математической методологии делает аппарат исследования операций весьма ненадежным при решении задач соответствующего макроуровня и приводит, с одной стороны, к многочисленным безрезультатным попыткам применения имитационного моделирования в сфере геополитики и макроэкономики, а с другой, – порождает недоверие к данной методологии со стороны большинства практиков, которые до сих пор предпочитают в большей мере полагаться в этих вопросах на свою интуицию.

Во-вторых, все попытки выдвигать требования, основанные на макропрогнозах, непосредственно разработчикам отдельных видов техники либо политика последних, заключающаяся в полном игнорировании геополитических и макроэкономических процессов, с одинаковым успехом приводят к провалу. Думается, именно техноценологическая методология может разрешить проблему органической связи между крайними уровнями современных технических задач (рис. 5.1).

В рамках лекции, безусловно, нет возможности подробно разобрать техноценологический подход во всей его глубине. Мы и не ставим перед собой такую задачу. Однако в первом приближении (как говорится, на инженерном уровне) рассмотреть ранговый анализ представляется возможным.

Итак, ранговый анализ включает следующие этапы-процедуры:

1. Выделение техноценоза.

2. Определение перечня видов в техноценозе.

3. Задание видообразующих параметров.

4. Параметрическое описание техноценоза.

5. Построение табулированного рангового распределения.

6. Построение графического рангового видового распределения.

7. Построение ранговых параметрических распределений.

8. Построение видового распределения.

9. Аппроксимация распределений.

10. Оптимизация техноценоза.

Обратим внимание на одну терминологическую особенность. Дело в том, что термин «ранговый анализ», хотя и стал уже традиционным, не совсем точен. Правильнее было бы пользоваться термином «ранговый анализ и синтез», т.к. в десяти перечисленных процедурах имеются операции как анализа, так и синтеза. Однако не будем вводить новых понятий и ограничимся существующим, толкуя его расширительно (аналогично терминам «корреляционный анализ», «регрессионный анализ», «фактор-анализ» и др.).

Рассмотрим процедуры рангового анализа более подробно.

1. Выделение техноценоза

Первая процедура трудно формализуется из-за проблем, которые в техноценологической теории называют конвенционностью границ и фрактальностью видообразования (в совокупности приводящими к трансцендентности техноценозов), следствием чего являются ограниченность и зависимость реально существующих техноценозов. Не вдаваясьв теоретические дебри, сформулируем лишь ряд рекомендаций по выделению техноценоза, которые непосредственно следуют из его определения.

Во-первых, техноценоз должен быть локализован (отграничен) в пространстве и времени. Эта операция требует от исследователя некоторой решительности, ибо он должен понимать, что абсолютно точного выделения техноценозаникому и никогда сделать не удастся. Кроме того, техноценоз постоянно изменяется («живет», эволюционирует), поэтому исследовать его надо без промедления. Принципиальным является также и то, что в техноценозе должно быть представлено значительное количество (тысячи, десятки тысяч) отдельных технических изделий различных видов (изготовленных по разной технической документации), не связанных друг с другом сильными связями. То есть техноценоз – это не отдельное изделие, а их многочисленная совокупность.

Во-вторых, в техноценозе должна явно просматриваться единая инфраструктура, в которую входят системы управления и всестороннего обеспечения функционирования. Самое главное – в техноценозе должна наличествовать и четко формулироваться единая цель, заключающаяся, как правило, в получении наибольшего положительного эффекта при наименьших затратах. Безусловно, среди элементов техноценоза может иметь место конкуренция, однако и она должна быть направлена на достижение общей цели. В этом смысле техноценозами, как правило, не могут считаться цеха предприятия, либо два-три завода, не связанных между собой системой управления, либо город в целом. Нельзя считать техноценозом и несколько взаимосвязанных предприятий, если они составляют лишь часть системы. Если говорить о группировках войск, то техноценозами являются дивизия, армия, фронт, однако, отдельно взятые войска связи фронта или армейская авиация (как и любой другой род войск) таковыми не являются.

Выделение техноценоза сопровождается его описанием. Рекомендуется создать для этого специальную базу данных, включающую максимально систематизированную и стандартизированную, достаточно полную и в то же время без излишних частностей информацию о видах и особях техноценоза. Информация структурируется по оргштатным подразделениям. Доступ к ней должен быть, по возможности, автоматизирован, необходимо предусмотреть процедуры ее анализа и обобщения в интерактивном режиме. При этом следует максимально использовать возможности компьютерной техники (в частности, стандартные приложения Windows: Access, Excel, Fox-pro и др.).

2. Определение перечня видов

Эта процедура рангового анализа так же сложна и трудноформализуема. Суть ее заключается в определении полного перечня видов техники в уже выделенном техноценозе. Делается это путем анализа разработанной информационной базы.

Как мы уже знаем, вид техники выделяется как единица, на которую имеется отдельная конструкторско-технологическая документация. Однако и здесь есть свои нюансы. Дело в том, что большинство современных технических изделий состоят из других изделий, на которые, в свою очередь, также имеется своя документация. Следовательно, нужно исходить из того, что вид техники должен быть функционально законченным, относительно независимым. В этом смысле видом техники может быть признана лопата, а процессорный блок компьютера – нет. Лопата может выполнять свои функции (копать землю), а процессорный блок, будучи взят отдельно, никому не нужен.

Сложность заключается и в том, что всегда одновременно существует множество модификаций одного и того же вида техники, и в какой момент из очередной модификации возникает новый вид, определить очень не просто. Ясно, что один вид от другого должен отличаться существенно. Критерием такого отличия является либо отличие одного из важнейших классификационных параметров назначения (мощности, скорости, напряжения, частоты, дальности и др.), либо наличие в конструкции принципиально нового функционально важного узла, блока, агрегата (двигателя, генератора, навесного оборудования, транспортной базы, шасси, кузова и др.).

По опыту исследования техноценозов (в различных областей человеческой деятельности), в перечне видов рекомендуется иметь двести-триста наименований (при общем количестве технических изделий-особей до десятков тысяч единиц). Составляя перечень, важно активно использовать существующие стандартные номенклатуры, классификации, оргштатные структуры, требования, нормали, технические описания и др. Однако в любом случае следует стремиться к тому, чтобы перечень видов был, с одной стороны, исчерпывающим, а с другой, – равномерным с точки зрения детализации по модификациям. Имеется ввиду, что не должно быть такого положения, когда какой-то из видов представлен лишь одной модификацией, а другой – десятью.

Выделенный перечень видов должен быть зафиксирован в отдельном списке и многократно перепроверен различными специалистами.

3. Задание видообразующих параметров

Выполняя эту процедуру рангового анализа, в качестве видообразующих рекомендуется задавать несколько функционально значимых для техноценоза, физически измеряемых и доступных для исследования параметров. Желательно, чтобы они были комплексными и в совокупности представляли группу, достаточно полную для качественного описания техноценоза с точки зрения его конечной цели функционирования. Такими параметрами могут быть стоимость, энергетическая мощность, сложность структуры (если ее можно описать), надежность, живучесть, численность обслуживающего персонала, массогабаритные показатели, топливная экономичность и др. Как видим, любой из перечисленных параметров весьма емко характеризует технические изделия. Наиболее важными из них представляются стоимость, энергетическая мощность и количество обслуживающего персонала (безусловно, включая и тот персонал, который осуществляет всестороннее обеспечение функционирования данного вида техники). Представляется, что именно эти параметры наиболее емко отражают энергию, овеществленную в то или иное техническое изделие при его изготовлении.

4. Параметрическое описание техноценоза

После задания видообразующих параметров необходимо определить и внести в базу данных техноценоза конкретные значения этих параметров, которыми обладает каждый вид техники из его состава. Это длительная и кропотливая статистическая работа, однако вполне доступная для каждого исследователя. Следует лишь стремиться к тому, чтобы была применена единая система измерения, т.е. для разных видов параметр должен определяться в одних и тех же единицах (килограммах, киловаттах, рублях по одному курсу, человеко-часах и др.). В создаваемой информационной базе техноценоза, естественно, должны изначально предусматриваться соответствующие поля для последующего внесения значений конкретных параметров.

Работа по созданию информационной базы техноценоза завершается после того как будет создана многомерная электронная таблица (база данных, включающая банк данных и систему управления), которая вбирает в себя систематизированную в определенном порядке (по укрупненным видам техники, подразделениям техноценоза, граничным значениям параметров или другим признакам) информацию о видах технических изделий, входящих в техноценоз, и значениях видообразующих параметров, которыми характеризуется каждый из этих видов.

Ключевым параметром, о котором мы пока не говорили, но который обязательно должен присутствовать в сформированной базе данных, причем на первом месте, является количество единиц техники каждого из видов, которым они представлены в техноценозе. Мы знаем, что группа технических изделий одного вида в составе техноценоза называется популяцией, а их численность – мощностью популяции.

Здесь полезным будет еще раз напомнить о принципиальной разнице между видом и особью. Вид – это абстрактное объективированное понятие, по сути, наше внутреннее представление об облике технического изделия, сформированное на основе знаний и опыта. Вид мы именуем маркой или образцом техники (автомобиль ЗИЛ-131, электростанция ЭСБ-0,5-ВО, большая саперная лопата, космический корабль «Прогресс» и др.). В составе исследуемого техноценоза функционирует техническая особь, например конкретный автомобиль (марка – ЗИЛ-131, шасси – № 011337, заводской номер двигателя – 17429348, пробег на данный момент – 300 тыс. км, водитель – Иванов, на левом борту кузова – грязное масляное пятно). Всего в техноценозе в данный момент наличествует 150 автомобилей марки ЗИЛ-131. Таким образом, в базе данных у нас будет в каком-то месте фигурировать запись: вид – автомобиль ЗИЛ-131; предназначение – перевозка грузов; количество в техноценозе (мощность популяции) – 150 единиц; стоимость – 10 тыс. долларов; масса – 5 тонн и т.д.

5. Построение табулированного рангового

распределения

Первые четыре процедуры завершают так называемый информационный этап рангового анализа. Следующий, аналитический этап, по сути, сводится к построению на основе информационной базы данных ранговых и видовых распределений техноценоза. Исходным здесь является табулированное ранговое распределение.

Вообще под ранговым распределением понимается распределение Ципфа в ранговой дифференциальной форме, являющееся результатом аппроксимации полученной в процедуре упорядочения видов техноценоза невозрастающей последовательности значений параметра, поставленных в соответствие рангу. В качестве параметра может рассматриваться численность, которой представлены виды в техноценозе (мощность популяции). В этом случае распределение называется ранговым видовым. А может фигурировать какой-либо из видообразующих параметров – тогда распределение будет ранговым параметрическим. В технологии построения распределений есть существенная специфика, однако об этом чуть позже. Ранг вида или особи есть комплексная характеристика, определяющая их место в упорядоченном распределении. Ранжирование имеет глубокое энергетическое обоснование и фундаментальное философское значение. Однако не будем вдаваться в детали и скажем лишь, что для нас ранг – это номер вида по порядку в некотором распределении.

Табулированное ранговое распределение объединяет в себе всю статистику о техноценозе, значимую с точки зрения техноценологического подхода вообще. По форме это таблица. Ниже представлен вариант данного распределения (табл. 5.1). Как видим, первую строчку таблицы занимает запись о самом многочисленном видетехники (в данном случае анализировалась электроэнергетическая инфраструктура группировки войск, а в качестве видов рассматривались электротехнические средства). На второе место поставлена вторая по численности электростанция и так далее вплоть до уникальных для данного техноценоза видов, которых всего по единице.

Таблица 5.1

Пример табулированного рангового распределения техноценоза

Ранг	Вид ЭТС	Количество в группировке, ед.	Видообразующий параметр
			м ощность, кВт	с тоимость, $	м асса, кг	……
	АБ-0,5-П/30	2349				……
	ЭСБ-0,5-ВО	1760				……
	АБ-1-О/230	1590				……
	АБ-1-П/30	1338				……
	ЭСБ-1-ВО	1217		1040		……
	ЭСБ-1-ВЗ	1170				……
	АБ-2-О/230	1093		1500		……
	АБ-2-П/30			1540		……
	АБ-4-Т/230			1990		……
……	……	……	……	……	……	……
……	……	……	……	……	……	……
	ЭСД-100-ВС			85000	3400	……
	ЭД200-Т400			120000	4200	……
	ЭД500-Т400			250000	6700	……
	ЭД1000-Т400		1000	340000	9300	……
	ПАЭС-2500		2500	500000	13700	……

Существенной для нас является закономерность: чем меньше численность вида в техноценозе, тем выше его основные видообразующие параметры. И хотя кое-где имеются отклонения от этой закономерности, общая тенденция очевидна. И в этом находит свое проявление один из фундаментальнейших законов природы.

6. Построение графического рангового

видового распределения

Ранговое видовое распределение может быть изображено в графической форме. Оно представляет собой зависимость количества технических особей, которым представлен вид в техноценозе, от ранга (рис. 5.2 – для примера, приведенного в табл. 5.1). По сути, график рангового видового распределения есть совокупность точек, однако для наглядности на рисунке изображены также и гладкие аппроксимирующие кривые. Но о них несколько позже.

Каждой точке графика соответствует определенный вид техники.При этом абсцисса на графике–ранг, а ордината–число особей, которым этот вид представлен в техноценозе. Все данные берутся из табулированного распределения.

7. Построение ранговых параметрических распределений

В ходе рангового анализа техноценоза по табулированному распределению строятся также графики ранговых распределений по каждому из видообразующих параметров. Однако здесь прослеживается определенная специфика, заключающаяся в том, что если в ранговом распределении ранжируются виды, то в параметрическом – особи. На рисунке 5.3 приведен график параметрического распределения по мощности (в киловаттах) для примера, приведенного в таблице 5.1. Так как в техноценозах могут насчитываться десятки тысяч технических особей, то построить график параметрического распределения в одних осях для всего техноценоза не представляется возможным. Для наглядности его делят на фрагменты с соответствующим масштабом.

Как мы уже отметили, в ранговом параметрическом распределении каждой точке соответствует не вид, а особь. Первый ранг присваивается особи, имеющей наибольшее значение параметра, второй – особи, имеющей наибольшее значение параметра среди особей, кроме первой, и так далее. Здесь необходимо сделать ряд замечаний. Во-первых, как нам теперь понятно, ранг на рисунке 5.3 (он называется параметрическим) не соответствует рангу (видовому) на рисунке 5.2. Теоретически между ними имеется связь, однако она чрезвычайно сложна. Во-вторых, т.к. в пределах вида мы принимаем значение видообразующего параметра одним и тем же, то на графике параметрического распределения все особи этого вида будут изображены точками с одинаковыми ординатами. Количество этих точек будет равно количеству особей данного вида в техноценозе. Сам жеграфик состоит как бы из горизонтальных отрезков различной длины. В-третьих, виды на ранговом видовом распределении и особи на ранговом параметрическом, имеющие одинаковые ординаты, ранжируются произвольно. В-четвертых, ранжировка особей по различным параметрам, хотя в целом и схожа, однако точно никогда не соответствует одна другой, что также важно учитывать, чтобы не ошибиться. У каждого параметрического распределения свой ранг.

8. Построение видового распределения

Среди распределений рангового анализа особое место занимает видовое. Есть мнение, что оно является наиболее фундаментальным. Имеются теоретическое обоснование и эмпирическое подтверждение тому, что, с одной стороны, видовое и ранговое видовое есть взаимообратные формы одного распределения, а с другой, – что бесконечная совокупность (континуум) ранговых параметрических распределений техноценоза математически свертывается в одно видовое.

По определению, под видовым понимается безгранично делимое распределение, устанавливающее в непрерывной или дискретной форме упорядоченную взаимосвязь между множеством возможной численности особей техноценоза и количеством видов данных особей, реальнопредставленных в техноценозе фиксированной численностью.

Видовое распределение в графической форме (рис. 5.4) строится по табулированному распределению. На рисунке показано распределение (которое, строго говоря, является совокупностью точек) для примера, приведенного ранее в таблице 5.1. Ясно, что его, как и ранговое параметрическое, практически невозможно изобразить в одних осях, поэтому обычно видовое распределение изображают фрагментами с удобным масштабом (один из таких фрагментов показан на рис. 5.4).

Еще раз уточним, как строится видовое распределение. Итак, по оси абсцисс откладывается возможная численность особей одного вида (возможная мощность популяции) в техноценозе. Очевидно, что особей может быть одна, две, три и т.д. вплоть до цифры, соответствующей максимальной по объему популяции. Иными словами, это ряд натуральных чисел в порядке возрастания. По оси ординат откладывается количество видов, представленных в анализируемом техноценозе данной численностью. Как видно из табулированного рангового распределения, одной особью у нас представлено четыре вида (ЭД200-Т400, ЭД500-Т400, ЭД1000-Т400, ПАЭС-2500). Поэтому мы откладываем точку с координатами (1,4). Двумя особями представлено три вида – точка (2,3); тремя особями два вида – точка (3,2); четырьмя, пятью, семью и восемью особями представлено по одному виду – точки (4,1); (5,1); (7,1); (8,1), а вот шестью особями не представлен ни один вид, поэтому среди точек графика имеется точка с координатами (6,0). Последняя точка имеет координаты (2349,1).

Сделаем еще несколько важных замечаний. Во-первых, все точки с нулевыми ординатами должны учитываться в последующей процедуре аппроксимации. Во-вторых, теоретически в видовом распределении заложена фундаментальная тенденция: чем больше численность в техноценозе (больше цифра по оси абсцисс), тем меньше разнообразие видов (меньше количество видов по оси ординат). Это закон природы. Однако в отличие от ранговых распределений (которые всегда убывающие) в видовом распределении не производится ранжирование, поэтому на его графике присутствуют точки, которые как бы аномально отклоняются от сформулированного выше правила. На рисунке 5.4 такие точки видны (например, (6,0)). Там, где имеется сгущение аномально отклоненных точек (как в ту, так и в другую сторону), мы фиксируем так называемые зоны номенклатурных нарушений в техноценозе.

Попробуем разобраться, что означают аномальные отклонения в видовом распределении (при этом вспомним закон оптимального построения техноценозов). Если точки отклоняются ниже некоторой гладкой аппроксимирующей кривой, то это означает, что в аномальной зоне номенклатурного ряда техноценоза отмечается завышенная унификация техники. А мы знаем, что любая унификация приводит к снижению функциональных показателей, т.е. эта техника недостаточно надежна, ремонтопригодна, хуже массогабаритные показатели и т.д. Если же точки отклоняются выше кривой, то здесь неоправданно большое разнообразие техники, что непременно скажется (в худшую сторону) на функционировании обеспечивающих систем (труднее доставать запчасти, готовить обслуживающий персонал, подбирать инструмент и т.д.) В любом случае, отклонение – это аномалия.

В заключение отметим, что для наглядности иногда видовые распределения строят в виде гистограмм, однако никакого теоретического значения это не имеет.

9. Аппроксимация распределений

Как мы уже отмечали, строго математически каждое распределение в графической форме представляет собой совокупность точек, получаемых по эмпирическим данным:

(x 1, y 1); (x 2 , y 2); …; (x i , y i); …; (x n , y n), (5.1)

где i –формальный индекс;

n – общее количество точек.

Точки – результат анализа табулированного рангового распределения техноценоза. Для каждого из распределений имеется свое число точек (что есть абсцисса в распределении, а что ордината, мы уже знаем). С точки зрения последующей оптимизации техноценоза большое значение имеет аппроксимация эмпирических распределений. Ее задача заключается в подборе аналитической зависимости, наилучшим образом описывающей совокупность точек (5.1). Мы задаемв качестве стандартной формы гиперболическое аналитическое выражение вида

(5.2)

где А и α – параметры.

Выбор формы (5.2) объясняется традиционно сложившимся подходом среди исследователей, занимающихся ранговым анализом. Безусловно, данная форма далеко не самая совершенная, однако она обладает неоспоримым достоинством – сводит задачу аппроксимации к определению всего двух параметров: А и α . Решается эта задача (также традиционно) методом наименьших квадратов.

Суть метода заключается в отыскании таких параметров аналитической зависимости (5.2) А и α , которые минимизируют сумму квадратов отклонений реально полученных в ходе рангового анализа техноценоза эмпирических значений y i от значений, рассчитанных по аппроксимационной зависимости (5.2), т.е.:

(5.3)

Известно, что решение задачи (5.3) сводится к решению системы дифференциальных уравнений (для (5.2) – двух с двумя неизвестными):

Ниже приводится текст программы:

В итоге после аппроксимации мы получаем двухпараметрическую зависимость вида (5.2) для каждого из распределений. На этом собственно аналитическая часть рангового анализа заканчивается.

5.2. Оптимизация техноценоза на основе

ранговыхраспределений

Ранговый анализ никогда не заканчивается с определением соответствующих распределений техноценоза. За ним всегда следует оптимизация, т. к. нашей главной задачей всегда является определение направлений и критериев улучшения существующего техноценоза. Оптимизация является одной из сложнейших проблем техноценологической теории. Этому направлению исследований посвящено значительное число работ. И хотя это отдельный серьезный разговор мы все же рассмотрим несколько простейших оптимизационных процедур, хорошо апробированных на практике.

Первая процедура – определение направления трансформации рангового видового распределения. Она основывается на понятии об идеальном распределении (рис. 5.5), которое на рисунке обозначено цифрой 2. Единицей обозначено реально полученное в результате анализа техноценоза ранговое видовое распределение. Здесь Λ – это количество видов, а r в – видовой ранг (см. рис. 5.2).

Как показывает многолетний опыт исследования техноценозов из различных областей человеческой деятельности, наилучшим является такое состояние техноценоза, при котором в аппроксимационном выражении рангового видового распределения

(5.13)

параметр β находится в пределах

0,5 ≤ β ≤ 1,5.(5.14)

Кстати, закон оптимального построения техноценозов гласит, что оптимальное состояние достигается при β = 1. Однако это распространяется лишь на некий идеальный техноценоз, функционирующий абсолютно изолированно. Таких на практике не бывает, поэтому можно пользоватьсяинтервальной оценкой (5.14). На рисунке 5.5 для лучшего понимания показана идеальная кривая (с β = 1), а не полоса, удовлетворяющая требованию (5.14).

Из рисунка видно, что реальное распределение резко отличается от идеального, причем кривые пересекаются в точке R . Отсюда вывод: среди видов техники с рангамиr в < R следует увеличивать разнообразие, и одновременно там, где r в > R , наоборот, проводить унификацию, что на рисунке проиллюстрировано стрелками. Такой представляется первая оптимизационная процедура.

Вторая процедура – устранение аномальных отклонений на видовом распределении. Как уже отмечалось, на видовом распределении техноценоза можно выделить области максимальных аномальных отклонений (они показаны, хотя и весьма условно, на рисунке 5.6).

Здесь мы отчетливо видим как минимум три ярко выраженные аномалии, где реально полученные в ходе анализа эмпирические точки явно отклоняются от плавной аппроксимационной кривой. При этом кривая строится, как мы уже знаем, методом наименьших квадратов по данным табулированного рангового распределения и описывается выражением

(5.15)

где Ω – количество видов (см. рис. 5.4.);

х – непрерывный аналог мощности популяции;

ω 0 и α – параметры распределения.

После выявления аномалий на видовом распределении по тому же табулированному распределению определяются виды техники, «ответственные» за аномалии, и намечаются первоочередные мероприятия по их устранению. При этом отклонения вверх от аппроксимирующей кривой свидетельствуют о недостаточной унификации, а вниз – наоборот, об избыточной.

Следует заметить, что первая и вторая процедуры взаимосвязаны, причем первая показывает стратегическое направление изменения видовой структуры техноценоза в целом, а вторая – помогает локально выявить «самые больные» зоны в номенклатуре (перечне видов) техники.

Третья процедура – верификация номенклатурной оптимизации техноценоза (рис. 5.7). Очевидно, что в любом реальном техноценозе номенклатурная оптимизация, осуществляемая в рамках первой и второй процедур, может быть выполнена лишь в течение длительного промежутка времени. Кроме того, реализация на практике предлагаемых мероприятий может натолкнуться на ряд трудностей субъективного характера. Поэтому весьма полезной представляется дополнительная оптимизационная процедура – верификация (рис. 5.7).

Для ее осуществления требуется статистическая информация о состоянии техноценоза за обозримый промежуток времени. Это позволит исследователю построить зависимость параметра β рангового видового распределения во времени t . Предположим, что эта зависимость получилась такой, как показано на рисунке 5.7. То есть, видовой состав техноценоза со временем трансформировался, изменялся и параметр β . С зависимостью β(t) на одном графике необходимо сопоставить зависимость E(t) , где Е – некоторый ключевой параметр, характеризующий функционирование техноценоза в целом, например – прибыль. В случае если дополнительный корреляционный анализ покажет, что взаимообусловленность Е и β значима, сопоставление их временных зависимостей позволит сделать целый ряд чрезвычайно важных выводов. В качестве примера на рисунке 5.7 стрелками показан способ определения оптимального значения β опт .

Четвертая процедура – параметрическая оптимизация (рис. 5.8). Строго говоря, первые три оптимизационные процедуры относятся к так называемой номенклатурной оптимизации. Четвертая, хотя и рассматривается в данном случае как дополнительная к предыдущим, принадлежит к несколько другой сфере и называется, как уже указано, параметрической. Дадим точные определения.

Под номенклатурной оптимизацией техноценоза понимается целенаправленное изменение набора видов техники (номенклатуры), устремляющее видовоераспределение техноценоза по форме к каноническому (образцовому, идеальному). Параметрическая оптимизация – целенаправленное изменение параметров отдельных видов техники, приводящее техноценоз к более устойчивому, и, следовательно, эффективному состоянию.

К настоящему времени теоретически показано, что между процедурами номенклатурной и параметрической оптимизации существует взаимосвязь, когда одну процедуру без другой осуществить практически невозможно. Обе они фактически являются разными сторонами одного процесса. Существует концепция оптимизации техноценозов,по которой номенклатурная оптимизации задает конечное состояние техноценоза, к которому она устремлена, а параметрическая – определяет детальный механизм этого процесса. Не будем углубляться в суть этой концепции (по причине ее достаточной сложности), ограничимся лишь предельно упрощенным вариантом параметрической оптимизационной процедуры.

Ранее мы ознакомились с процессом получения рангового параметрического распределения. Рассмотрим абстрактный пример распределения техноценоза по параметру W (рис. 5.8). Из закона оптимального построения следует, что для любого техноценоза может быть теоретически задана форма так называемого идеального рангового параметрического распределения. На рисунке оно изображено кривой, обозначенной цифрой 2 (реальное – 1). Хорошо видно, что эти два распределения значительно различаются, что свидетельствует об упущениях в научно-технической политике, проводимой при формировании техноценоза.

Если применять ставшую уже традиционной для нас гиперболическую форму распределений

(5.16)

гдеr – параметрический ранг;

W 0 и β – параметры распределения,

то идеальное распределение будет задаваться интервальной оценкой требований к параметру β , причем

0,5 £ β £ 1,5.(5.17)

Исходя из тех же соображений, которые приведены в комментариях к выражению (5.14), в данном случае интервальную оценку заменяют конкретным значением β = 1 . Поэтому на рисунке 5.8 вместо полосы изображена кривая 2.

Суть параметрической оптимизации в данном случае сводится к тому, что после выявления на видовом распределении видов техники, «ответственных» за аномальные отклонения (вторая процедура оптимизации), определяются параметрические ранги этих видов. На рисунке 5.8 подобному виду соответствует точка с координатами (r т, W 1) . Далее по оптимальной кривой 2 определяется значение W 2 , соответствующее той же абсциссе (r т). Очевидно, что W 2 может интерпретироваться как своего рода требование к разработчикам видов техники по данному, конкретному параметру (направление оптимизации показано на рисунке стрелкой). Если в ранговых распределениях провести подобную операцию по всем основным параметрам, можно вести речь о задании комплекса технических требований на разработку или модернизацию видов технических изделий.

Ко всему сказанному имеется ряд замечаний. Во-первых,полученные технические требования не обязательно должны реализовываться напрактике путем разработки новых или модернизации эксплуатируемых видов. Достаточно найти соответствующий требованиям уже существующий образец (если, конечно, он где-тоимеется) и включить его в номенклатуру взамен того, который нас не удовлетворяет.

Во-вторых, что чрезвычайно важно понять, в техноценозе существует глубокая, фундаментальная взаимосвязь между численностью видов техники (объемом популяции) и уровнем их основных видообразующих параметров. Поэтому оптимизация может осуществляться не только за счет изменения параметров, но также и путем изменения численности особей данного вида в техноценозе. Выбор пути целиком зависит от конкретной ситуации. То, как это делается, мы здесь опускаем и адресуем интересующихся к специальной литературе.

И, наконец, последнее замечание по четвертой процедуре оптимизации. В ее простейшем варианте, представленном здесь, могут возникнуть чисто технические трудности с определением параметрического ранга r т . Дело в том, что по табулированному распределению мы можем напрямую определить лишь видовой ранг, т.к. в таблице приводится перечень видов. А на ранговых параметрических распределениях ранжируются все особи. Повторимся и отметим, что теоретически между параметрическим и видовым рангами существует фундаментальная взаимосвязь, однако она очень сложна. Выйти из этого положения можно следующим образом. После выявления вида, требующего параметрической оптимизации (а это делается по видовому распределению), определяется его видовой ранг. Причем по видовому распределению определяется лишь численность этого вида в техноценозе, а уже потом, с учетом численности, по ранговому видовому распределению определяется видовой ранг (и собственно марка данного вида техники). Если одной и той же численностью обладает несколько видов, то принимать решение относительно того, какой из них подвергать оптимизации, должен исследователь. Зная видовой ранг, по табулированному распределению определяем значение параметра, соответствующее данному виду. Откладываем его на ранговом параметрическом распределении (на рис. 5.8 это значение W 1 ) и далее поступаем в соответствии с предложенной выше процедурой.

Мы завершаем изложение общих вопросов рангового анализа. В данной лекции были предложены сравнительно простые методики, и это естественно, т.к. начинать постижение техноценологического метода надо «от простого». Однако опыт многолетних исследований реальных техноценозов свидетельствует, что даже сравнительно несложные методы оказываются эффективными и весьма полезными. Есть основание даже говорить, что для определенного класса задач техноценологический метод вообще и ранговый анализ в частности являются единственными корректными методами исследования и оптимизации.

Джордж Ципф эмпирически установил, что частота использования N-го наиболее часто используемого слова в естественных языках приблизительно обратно пропорциональна числу N и была описана автором в книге: Zipf G.R., Human Behavior and the Principle of Least Effort, 1949

«Он обнаружил, что самое распространённое в английском языке слово («the») используется в десять раз чаще, чем десятое по частоте употребления слово, в 100 раз чаще, чем 100-е по частоте употребления слово, и в 1000 раз чаще, чем 1000-е по частоте употребления слово. Кроме того, было выявлено, что такая же закономерность действует для доли рынка программного обеспечения, безалкогольных напитков, автомобилей, конфет и для частоты обращений к интернет-сайтам. [...] Стало ясно, что в практически в каждой сфере деятельности быть номером один намного лучше, чем номером три или номером десять. Причём распределение вознаграждения отнюдь не равномерно, особенно в нашем опутанном различными сетями мире. А в сети Интернет ставки ещё выше. Рыночная капитализация Priceline, eBay и Amazon достигает 95% совокупной рыночной капитализации всех остальных сфер электронного бизнеса. Вне сомнений, победитель получает очень много».

Сет Годин, Идея-вирус? Эпидемия! Заставьте клиентов работать на ваш сбыт, СПб, «Питер», 2005 г., с. 28.

«Смысл этого явления состоит в том, что […] способность участников творчества входить в законченные произведения распределяется по участникам в согласии с законом произведение числа вхождений на ранг участника (на число участников с той же частотой вхождения) величина постоянная: f r = Const. […] В ранговом списке всех участников творчества, в данном случае слов, как раз и выявляется свойство неравномерного распределения миграционной способности, а с ним и закономерность связи между количеством и качеством в творческой деятельности вообще. […]

Кроме литературных источников Ципф исследовал множество других подозрительных на ранговое распределение явлений - от распределения населения по городам до расположения инструментов на верстаке столяра, книг на столе и стеллаже ученого, повсюду натыкаясь на одну и ту же закономерность.

Независимо от Ципфа близкое распределение было вскрыто Парето при исследовании банковских вкладов, Урквартом при анализе запросов на литературу, Лоткой в анализе авторской продуктивности учёных. Даже боги Олимпа, с точки зрения их нагрузки навыкообразующими и навыкосохраняющими функциями, ведут себя по закону Ципфа.

Усилиями Прайса и его коллег, а позднее усилиями многих науковедов было выяснено, что закон Ципфа имеет прямое отношение к ценообразованию в науке.

Прайс по этому поводу пишет: «Все данные, связанные с распределением таких характеристик, как степень совершенства, полезности, продуктивности, размера подчиняются нескольким неожиданным, но простым закономерностям [...] Является ли точная форма этого распределения логарифмически нормальной или геометрической, или обратно-квадратичной или подчинена закону Ципфа , - это предмет конкретизации для каждой отдельной отрасли. То, что нам известно, состоит в констатации самого факта, что любой из этих законов распределения даёт близкие к эмпирическим результаты в каждой из исследуемых отраслей, и что такое общее для всех отраслей явление есть, видимо, результат действия одного закона». Price D., Regular Patterns in the Organisation of Science, Organon, 1965, N 2., р. 246 ».

Петров М.К. , Искусство и наука. Пираты Эгейского моря и личность, М., «Российская политическая энциклопедия, 1995 г., с. 153-154.

Кроме этого, Джордж Ципф также установил, что наиболее часто употребляемые слова языка, существующего длительное время, короче остальных. Частое употребление «истёрло» их...

Первое, что обращает на себя внимание в царстве документов, – это чрезвычайно быстрый рост его населения.

Этот общеизвестный факт заставляет всерьез задуматься о том, к чему может привести такой рост. Но, может быть, наши опасения напрасны, и в дальнейшем темпы прироста числа документов замедлятся? Пока что статистика утверждает обратное.

Вот как, например, изменялись документальные информационные потоки по химии. В 1732 г все наследие химии было обобщено и опубликовано голландским профессором в книге объемом 1433 страницы. В 1825 г шведский ученый Берцелиус опубликовал все, что было известно по химии, в 8 томах общим объемом 4150 страниц. В настоящее время американский реферативный журнал «Chemical Abstracts», издаваемый с 1907 г, публикует почти всю информацию по химии, при этом первый миллион рефератов был опубликован спустя 31 год с момента основания, второй – спустя 18 лет, третий – через 7 лет, а четвертый – через 4 года!

Примерно такой же характер роста количества документов можно проследить и в других областях науки. Было замечено, что рост документов носит экспоненциальный характер. При этом ежегодный прирост потоков научно-технической информации составляет 7...10%. В настоящее время каждые 10...15 лет происходит удвоение объемов научно-технической информации (НТИ) Кривая роста числа документов, таким образом, может быть описана экспонентой вида

y = Ae kt

где y – сумма знаний, унаследованных от предыдущих поколений, е – основание натуральных логарифмов (е = 2,718...), t – индекс времени (г); A – сумма знаний в начале отсчета (при t = 0), K – коэффициент, характеризующий скорость знаний, эквивалентом которых принимаются потоки научно-технической информации. При t ≈ 10...15 лет у = 2A .

Легко представить себе, что такой характер роста числа научных документов не предвещает нам в будущем, даже ближайшем будущем, ничего хорошего. Леса, превращенные в горы бумаги, в которых тонет беспомощный исследователь...

Однако, как показывает история науки и техники, условия, в которых они развиваются, не являются постоянными, а поэтому механизм экспоненциального роста потоков НТИ часто нарушается. Это нарушение объясняется рядом сдерживающих факторов, в частности войнами, нехваткой материальных и человеческих ресурсов и т.д. В действительности рост числа документов не подчиняется поэтому экспоненциальной зависимости, хотя в определенные периоды развития науки и техники в отдельных областях знаний она проявляется достаточно четко. В чем же причина такого стремительного нарастания потоков документальной информации?

В предыдущих разделах мы обращали внимание на то, что информация играет огромную роль в развитии человеческого общества, поэтому оно сопровождается опережающим по темпам ростом объемов информации. Рост документальных потоков научной информации можно связывать с ростом числа создателей научной информации. Темпы этого роста описываются показательной функцией. Например, в течение последних 50 лет число научных работников в СССР удваивалось каждые 7 лет, в США – каждые 10 лет, в европейских странах – каждые 10...15 лет.

Конечно, темпы роста числа научных работников должны подвергнуться замедлению и достигнуть какой-то более или менее постоянной величины по отношению ко всему количеству работающего населения. В противном случае все население через какое-то время будет занято исследовательскими и опытно-конструкторскими работами, что нереально. Поэтому в будущем следует ожидать замедления темпов роста числа научных документов. В настоящее время эти темпы все еще высоки и внушают потребителям информации тревогу: как хранить и обрабатывать документы, как найти среди них тот, который нужен?

Положение кажется безвыходным: действующий пока в царстве документов закон экспоненциального роста документов резко обострил в нем как «жилищную», так и «транспортную» проблемы.

Однако, как оказывается, здесь существует закон, несколько смягчающий создавшееся положение...

В конце 40-х годов нашего столетия Дж. Ципф, собрав огромный статистический материал, попытался показать, что распределение слов естественного языка подчиняется одному простому закону, который можно сформулировать следующим образом. Если к какому-либо достаточно большому тексту составить список всех встретившихся в нем слов, затем расположить эти слова в порядке убывания частоты их встречаемости в данном тексте и пронумеровать в порядке от 1 (порядковый номер наиболее часто встречающегося слова) до R , то для любого слова произведение его порядкового номера (ранга) / в таком списке и частоты его встречаемости в тексте будет величиной постоянной, имеющей примерно одинаковое значение для любого слова из этого списка. Аналитически закон Ципфа может быть выражен в виде

fr = c ,

где f – частота встречаемости слова в тексте;
r – ранг (порядковый номер) слова в списке;
с – эмпирическая постоянная величина.

Полученная зависимость графически выражается гиперболой. Исследовав таким образом самые разнообразные тексты и языки,

в том числе языки тысячелетней давности, Дж. Ципф для каждого из них построил указанные зависимости, при этом все кривые имели одинаковую форму – форму «гиперболической лестницы», т.е. при замене одного текста другим общий характер распределения не изменялся.

Закон Ципфа был открыт экспериментально. Позднее Б. Мандельброт предложил его теоретическое обоснование. Он полагал, что можно сравнивать письменный язык с кодированием, причем все знаки должны иметь определенную «стоимость». Исходя из требований минимальной стоимости сообщений, Б. Мандельброт математическим путем пришел к аналогичной закону Ципфа зависимости

fr γ = c ,

где γ – величина (близкая к единице), которая может изменяться в зависимости от свойств текста.

Дж. Ципфом и другими исследователями было установлено, что такому распределению подчиняются не только все естественные языки мира, но и другие явления социального и биологического характера: распределения ученых по числу опубликованных ими статей (А. Лотка, 1926 г.), городов США по численности населения (Дж. Ципф, 1949 г.), населения по размерам дохода в капиталистических странах (В. Парето, 1897 г.), биологических родов по численности видов (Дж. Уиллис, 1922 г.) и др.

Самым важным для рассматриваемой нами проблемы является тот факт, что и документы внутри какой-либо отрасли знаний могут распределяться согласно этому закону. Частным случаем его является закон Брэдфорда, непосредственно связанный уже не с распределением слов в тексте, а с распределением документов внутри какой-либо тематической области.

Английский химик и библиограф С. Брэдфорд, исследуя статьи по прикладной геофизике и смазке, заметил, что распределения научных журналов, содержащих статьи по смазке, и журналов, содержащих статьи по прикладной геофизике, имеют общий вид. На основании установленного факта С. Брэдфорд сформулировал закономерность распределения публикаций по изданиям.

Основной смысл закономерности состоит в следующем: если научные журналы расположить в порядке убывания числа статей по конкретному вопросу, то журналы в полученном списке можно разбить на три зоны таким образом, чтобы количество статей в каждой зоне по заданному предмету было одинаковым. При этом в первую зону, так называемую зону ядра, входят профильные журналы, непосредственно посвященные рассматриваемой тематике. Количество профильных журналов в зоне ядра невелико. Вторую зону образуют журналы, частично посвященные заданной области, причем число их существенно возрастает по сравнению с числом журналов в ядре. Третья зона, самая большая по количеству изданий, объединяет журналы, тематика которых весьма далека от рассматриваемого предмета.

Таким образом, при равном числе публикаций по определенной тематике в каждой зоне число наименований журналов резко возрастает при переходе от одной зоны к другой. С. Брэдфорд установил, что количество журналов в третьей зоне будет примерно во столько раз больше, чем во второй зоне, во сколько раз число наименований во второй зоне больше, чем в первой. Обозначим р 1 – число журналов в 1-й зоне, р 2 – во 2-й, р 3 – число журналов в 3-й зоне.

Если a – отношение количества журналов 2-й зоны к числу журналов 1-й зоны, то закономерность, вскрытая С. Брэдфордом, может быть записана так:

P 1: P 2: P 3 = 1: a : a 2

P 3: P 2 = P 2: P 1 = a .

Эту зависимость называют законом Брэдфорда.

Б. Викери уточнил модель С. Брэдфорда. Он выяснил, что журналы, проранжированные (выстроенные) в порядке уменьшения в них статей по конкретному вопросу, можно разбить не на три зоны, а на любое нужное число зон. Если периодические издания расположить в порядке уменьшения в них количества статей по конкретному вопросу, то в полученном списке можно выделить ряд зон, каждая из которых содержит одинаковое количество статей. Примем следующие обозначения х – количество статей в каждой зоне. Т x – количество журналов, содержащих х статей, Т 2x – количество журналов, содержащих 2х статей, т.е. сумма наименований журналов в 1-й и во 2-й зонах, Т 3x – количество журналов, содержащих 3х статей, т.е. сумма наименований журналов в 1-й, 2-й и в 3-й зонах, Т 4x – количество журналов, содержащих 4х статей.

Тогда эта закономерность будет иметь вид

T x : T 2x : T 3x : T 4x : ... = 1: a : a 2: a 3: ...

Данное выражение называют законом Брэдфорда в толковании Б. Викери.

Если закон Ципфа характеризует многие явления социального и биологического характера, то закон Брэдфорда – это специфический случай распределения Ципфа для системы периодических изданий по науке и технике.

Из этих закономерностей можно извлечь выводы огромной практической пользы.

Так, если расположить какие-либо периодические издания в порядке убывания количества статей по определенному профилю, то, согласно Брэдфорду, их можно разбить на три группы, содержащие равное количество статей. Пусть мы отобрали группу из 8 наименований журналов, занимающих первые 8 мест в полученном списке. Тогда для того, чтобы удвоить количество статей по интересующему нас профилю, нам придется добавить к имеющимся 8 еще 8 · a наименований журналов. Если a = 5 (это значение найдено экспериментальным путем для некоторых тематических областей), то число этих наименований равно 40. Тогда общее число наименований периодических изданий составит 48, что, конечно, значительно больше, чем 8. При попытке же получить втрое большее количество статей нам придется охватить уже 8 + 5 · 8 + 5 2 · 8 = 256 наименований! Из них треть интересующих нас статей сосредоточена всего в 8 журналах, т.е. статьи распределяются по наименованиям журналов неравномерно. С одной стороны наблюдается концентрация значительного количества статей по определенной тематике в нескольких профильных журналах, с другой – рассеяние этих статей в огромном количестве изданий по смежной или далекой от рассматриваемой тематике, в то время как на практике необходимо выявить основные источники по интересующей нас области научно-технических знаний, а не случайные издания.

Закономерности концентрации и рассеяния научно-технической информации в царстве документов позволяют выбирать именно те издания, которые с наибольшей вероятностью содержат публикации, соответствующие определенному профилю знаний. В массовом процессе информационного обеспечения в масштабах страны использование этих закономерностей позволяет сократить для народного хозяйства огромные расходы.

Существующее рассеяние публикаций нельзя оценивать только как вредное явление. В условиях рассеяния улучшаются возможности для межотраслевого обмена информацией.

Попытка сконцентрировать все публикации одного профиля в нескольких журналах, т.е. не допустить их рассеяния, будет иметь отрицательные последствия, не говоря уж о том, что точное отнесение документа к тому или иному профилю не всегда представляется возможным.

Результаты проверок закона рассеяния Брэдфорда, как показал С. Брукс, имеют различные степени соответствия. Несмотря на внесенные поправки, модель Брэдфорда не отражает разнообразия реальных распределений. Это несоответствие можно объяснить тем, что Брэдфорд сделал свои выводы, основываясь на выборе массивов, относящихся только к узким тематическим областям.

Огромная заслуга Дж. Ципфа и С. Брэдфорда состоит в том, что они положили начало строгому исследованию документальных информационных потоков (ДИП), которые представляют собой совокупности научных документов-публикаций и неопубликованных материалов (например, отчетов по научно-исследовательским и опытно-конструкторским работам). Дальнейшие исследования, среди которых видное место занимают работы советского специалиста в области информатики В.И. Горьковой, показали, что можно определять не только количественные параметры совокупностей научных документов, но и совокупностей элементов признаков научных документов: авторов, терминов, индексов классификационных систем, наименований изданий, т.е. наименований элементов, характеризующих содержание научных документов. Например, можно расположить журналы в порядке убывания числа печатающихся в них авторов, в порядке убывания средней величины публикующихся в них статей или упорядочить совокупность документов по любому ее элементу.

Упорядоченность задается ранжированием (порядком размещения) наименований элементов по частоте их появления в порядке ее убывания. Такая упорядоченная совокупность наименований элементов называется ранговым распределением. Распределения, которые в свое время изучал Ципф, – это типичные примеры ранговых распределений. Оказалось, что вид рангового распределения, его строение характеризуют ту совокупность документов, к которой относится данное ранговое распределение. Выяснилось, что при построении ранговые распределения в большинстве случаев имеют форму закономерности Ципфа с поправкой Мандельброта:

fr γ = c .

При этом коэффициент γ – величина переменная. Постоянство коэффициента γ сохраняется только на среднем участке графика распределения. Этот участок принимает форму прямой, если график вышеприведенной закономерности построить в логарифмических координатах. Участок распределения с γ = const называется центральной зоной рангового распределения (значение аргумента на этом участке изменяется от Inr 1 , до Inr 2). Значениям аргумента от 0 до Inr 1 соответствует зона ядра рангового распределения, а значениям аргумента от Inr 2 до Inr 3 – так называемая зона усечения.

Какой же смысл заложен в существовании трех явно различаемых зон ранговых распределений? Если последнее относится к терминам, составляющим какую-либо область знании, то ядерная зона, или зона ядра рангового распределения, содержит наиболее общеупотребительные, общенаучные термины. Центральная зона содержит термины, наиболее характерные для данной области знаний, которые в совокупности выражают ее специфичность, отличие от других наук, «охватывают ее основное содержание». В зоне усечения же сосредоточены термины, сравнительно редко употребляющиеся в данной области знаний.

Таким образом, основа лексики какой-либо области знаний сосредоточена в центральной зоне рангового распределения. При помощи терминов ядерной зоны эта область знаний «стыкуется с более общими областями знаний», а зона усечения играет роль авангарда, как бы «нащупывающего» связи с другими отраслями науки. Так, если несколько лет назад в ранговом распределении терминов тематической области «Обработка металлов» встретился бы термин «лазеры», то ввиду его низкой встречаемости он, наверняка, попал бы именно в зону усечения: связи между лазерной техникой и обработкой металлов еще только «нащупывались». Однако сегодня этот термин, без сомнения, попал бы в центральную зону, что отразило бы уже его достаточно высокую встречаемость и, следовательно, устойчивую связь лазерной техники с обработкой металлов.

График рангового распределения наполнен глубоким смыслом: ведь по относительной величине той или иной зоны на графике можно судить о характеристиках всей области знаний. График с обширной ядерной зоной и малой зоной усечения относится к достаточно широкой и скорее всего консервативной области знаний. Для динамичных отраслей науки характерна увеличенная зона усечения. Малая величина ядерной зоны может говорить об оригинальности области знаний, к которой относится построенное ранговое распределение и т.д. Так, на основании анализа рангового распределения оказалось возможным дать качественные оценки документальным информационным потокам в соответствии с теми отраслями, науки, где они формировались. Царство документов приобретает очертания системы, в которой элементы взаимосвязаны, а закономерности, управляющие этими связями, могут быть изучены!

Как информация стареет...

Старение... Смысл этого понятия, не требует объяснений, оно хорошо знакомо каждому. Стареет наша планета, стареют деревья. Стареют вещи и люди, которым они принадлежат. Стареют и документы. Желтеют листы книг, выцветают буквы, разрушаются обложки. Но что это? Студент, отмахиваясь в библиотеке от предлагаемой ему книги, пренебрежительно замечает: «Она уже устарела!», хотя книга с виду еще совершенно новая! Никакого секрета здесь, конечно, нет. Книга нова, однако информация, которая в ней содержится, могла устареть. Применительно к документам старение понимается не как физическое старение носителя информации, а как довольно сложный процесс старения содержащейся в нем информации. Внешне этот процесс проявляется в утрате учеными и специалистами интереса к публикациям с увеличением времени, прошедшего со дня их издания. Как показало обследование 17 библиотек, проведенное одним из отраслевых органов информации, 62% обращений приходится на журналы, возраст которых не превышает 1,5 года; 31% обращений – на журналы возрастом 1,5...5 лет; 6% – на журналы возрастом от 6 до 10 лет; 7% – на журналы более чем 10-летнего возраста. К вышедшим сравнительно давно публикациям обращаются гораздо реже, что дает повод для утверждения об их старении. Какие же механизмы управляют процессом старения документов?

Один из них непосредственно связан с кумуляцией, агрегированием научной информации. Часто материал, на изложение которого сто лет назад требовался целый курс лекций, теперь можно объяснить за несколько минут с помощью двух-трех формул. Соответствующие курсы лекций безнадежно стареют: ими никто уже не пользуется.

После получения более точных стареют приблизительные данные, а следовательно, и документы, в которых они опубликованы. Поэтому, когда говорят о старении научной информации, чаще всего имеют в виду именно ее уточнение, более строгое, сжатое и обобщенное изложение в процессе создания новой научной информации. Это возможно благодаря тому, что научная информация обладает свойством кумулятивности, т.е. допускает более краткое, обобщенное изложение.

Иногда старение документальной информации имеет другой механизм: объект, описанием которого мы располагаем, с течением времени изменяется настолько, что информация о нем становится неточной. Так стареют географические карты: на смену пустыням приходят пастбища, возникают новые города и моря.

Процесс старения можно рассматривать и как утрату информацией практической полезности для потребителя. Это означает, что он уже не может пользоваться ею для достижения стоящих перед ним целей.

И, наконец, этот процесс может быть рассмотрен с позиций изменения тезауруса человека. С этих позиций одна и та же информация может быть «устаревшей» для одного человека и «неустаревшей» для другого.

Степень старения документальной информации неодинакова для разных видов документов. На скорость ее старения влияют в разной степени очень много факторов. Особенности старения информации в каждой области науки и техники не могут быть выведены на основе абстрактных соображений или усредненных данных статистики – они органически связаны с тенденциями развития каждой отдельной отрасли науки и техники.

Для того чтобы как-то количественно оценить скорость старения информации, библиотекарь Р. Бартон и физик Р. Кеблер из США по аналогии с периодом полураспада радиоактивных веществ ввели «полупериоды жизни» научных статей. Полупериод жизни – это время, в течение которого была опубликована половина всей используемой в настоящее время литературы по какой-либо отрасли или предмету. Если полупериод жизни публикаций по физике равен 4,6 года, то это означает, что 50% всех ныне используемых (цитируемых) публикаций по этой отрасли имеют возраст не более 4,6 года. Вот какие результаты получили Бартон и Кеблер: для публикаций по физике – 4,6 лет, физиологии – 7,2, химии – 8,1, ботанике – 10,0, математике – 10,5, геологии – 11,8 лет. Однако, хотя свойство старения информации и носит объективный характер, но оно не раскрывает внутреннего процесса развития данной области знания и имеет скорее описательный характер. Поэтому к выводам о старении информации следует относиться очень осторожно.

Тем не менее, даже приблизительная оценка скорости старения информации и документов, ее содержащих, имеет огромную практическую ценность: она помогает держать в поле зрения только ту часть царства документов, в которой, вероятнее всего, находятся документы, несущие основную информацию о данной науке. Это важно не только для работников научно-технических библиотек и органов научно-технической информации, но и для самих потребителей НТИ.

Выход в автоматизации?