Многолетние
усилия многих исследовательских групп привели к тому, что к настоящему моменту
накоплено большое число различных «правил обучения» и архитектур нейронных
сетей, способов оценивать и интерпретировать их работу, приемов использования
нейронных сетей для решения прикладных задач.
До сих пор эти правила, архитектуры, системы оценки и интерпретации, приемы
использования и другие интеллектуальные находки существуют в виде «зоопарка»
сетей. Каждая сеть из зоопарка имеет свою архитектуру, правило обучения и
решает конкретный набор задач.
Мы предлагаем систематизировать «зоопарк». Для этого полезен такой подход:
каждая нейронная сеть из зоопарка должна быть представлена как реализованная на
идеальном нейрокомпьютере, имеющем заданную структуру. Такой подход преследует
две цели. Во-первых сделать нейросетевые программы совместимыми по способу
описания нейронных сетей и сопутствующих компонент, что сильно упростит жизнь
пользователям нейросетевых приложений. Во-вторых единый подход к описанию
позволяет корректно сравнивать между собой различные архитектуры нейронных
сетей и алгоритмов обучения. Возможность сравнения, в свою очередь, позволит
приступить к построению единой теории нейронных сетей.
Группа НейроКомп в течение двенадцати лет отрабатывала принципы организации
нейронных вычислений. Различные варианты этих принципов были реализованы в
серии программ-нейроимитаторов. Возможность формирования большинства
архитектур, алгоритмов и способов использования нейронных сетей на основе
небольшого числа стандартных блоков существенно облегчает создание программного
обеспечения.
В данной работе описана функциональная структура идеального нейрокомпьютера для
реализации большинства нейронных сетей одного из крупных отделов «зоопарка».
Речь идет о сетях, связанных с методом обратного распространения ошибки - это
мощная и широко применяемая технология обучения нейронных сетей. К сожалению,
она получила распространение в виде алгоритма, а не в виде способа построения
алгоритмов. Более общая теория обучения нейронных сетей - принцип
двойственности - мало известна. На данный момент в литературе встречается
описание более чем двух десятков различных алгоритмов обучения нейронных сетей
по методу обратного распространения ошибки. Предлагаемый в этой работе проект
стандарта ориентирован в первую очередь на сети, обучаемые по методу обратного
распространения ошибки, но в приведенных примерах показана применимость этого
стандарта и для других типов нейронных сетей – сетей ассоциативной памяти
(Хопфилд) и сетей, обучающихся без учителя (Кохонен).
После тщательного анализа описания всех доступных из литературы алгоритмов
обучения нейронных сетей, опираясь на принцип двойственности в обучении
нейронных сетей и на свой двенадцатилетний опыт, нам удалось сформулировать
принципы структурно-функциональной организации нейрокомпьютеров.
В данной работе предлагается два уровня стандартизации. Первый уровень состоит
в создании единого языка описания функциональных компонент нейрокомпьютера. При
этом не важно кем и для каких компьютеров был разработан программный имитатор.
Возможность иметь внешнее, по отношению к программному имитатору, описание всех
основных компонент нейрокомпьютера призвана облегчить разработку и распространение
архитектур нейронных сетей, правил интерпретации ответов и их оценки,
алгоритмов обучения, методов контрастирования (скелетонизации) и т.д. При этом
результат становится не зависящим от программы, при помощи которой он был
получен, и воспроизводимым другими исследователями.
Второй уровень предлагаемого проекта стандарта предусматривает возможность
взаимозамены различных компонент в пределах одной программы. Предполагается,
что возможно использование компонент одного разработчика программ совместно с
компонентами, разработанными другими разработчиками. Этот стандарт по своему
применению существенно уже первого, поскольку возможности переноса разработок
между различными вычислительными платформами сильно ограничены.
Несколько слов о структуре книги. В первой главе выделяются основные компоненты
нейрокомпьютера по следующим признакам.
1. Относительная функциональная обособленность: каждый компонент имеет четкий
набор функций. Его взаимодействие с другими компонентами может быть описано в
виде небольшого числа запросов.
2. Возможность реализации большинства используемых алгоритмов.
3. Возможность взаимозамены различных реализаций любого компонента без
изменения других компонентов.
Во второй главе описаны стандарты типов данных и общий базис языка описания
различных компонентов нейрокомпьютера. В ней также приведено описание запросов,
исполняемых всеми или большинством компонент. Кроме того, в этой главе
приведены способы работы с нестандартными типами данных, такими как «цвет»
примера в обучающей выборке и др.
Каждая из остальных глав посвящена описанию одного или нескольких тесно
связанных между собой компонентов нейрокомпьютера. Главы фактически
самостоятельны. Если возникает необходимость привлечения материала других глав,
то дается точная ссылка на раздел, в котором приводится нужный материал. Каждая
из этих глав, состоит из трех частей. В первой части приводится обсуждение
рассматриваемого компонента нейрокомпьютера, приводятся примеры. Во второй
части главы описывается предлагаемый стандарт языка описания компоненты, а в
третьей – описание запросов, исполняемых этим компонентом.
Идея написания этой книги
родилась на основе двенадцатилетней работы Красноярской группы НейроКомп. Так
выделение функциональных компонент явилось результатом разработки ряда
нейросетевых программ Гилевым С.Е., Коченовым Д.А., Россиевым Д.А, и автором.
Автор благодарен Гилеву С.Е, Дорреру М.Г., Коченову Д.А., Новоходько А.Ю.,
Россиеву Д.А., Сиротининой Н.Ю., Царегородцеву В.Г. и Чертыкову П.В. за
неоднократные и очень полезные обсуждения предлагаемых в книге стандартов.
Автор благодарен директору фирмы «АЗА» И.Г.Сулькису, директору Красноярского
высшего колледжа информатики Г.М.Цибульскому и директору ИВМ СО РАН
В.В.Шайдурову за неоценимую организационную поддержку. Особую благодарность
автор выражает своему учителю, руководителю группы НейроКомп А.Н.Горбаню.
Для специалистов по нейроинформатике, экспертным системам, разработчиков
программного обеспечения, а также для широкого круга пользователей,
интересующихся нейронными сетями.
СОДЕРЖАНИЕ и книга по
главам
Введение (pdf, 45k)
1. Функциональные компоненты (pdf, 87k)
2. Общий стандарт (pdf, 349k)
3. Задачник и обучающее множество (pdf,
198k)
4. Предобработчик (pdf, 446k)
5.1. Конструирование нейронных сетей (pdf,
305k)
5.2. Примеры сетей и алгоритмов их обучения (pdf,
192k)
5.3. Стандарт первого уровня компонента сеть (pdf,
276k)
6. Оценка и интерпретатор ответа (pdf, 492k)
7. Исполнитель (pdf, 103k)
8. Учитель (pdf, 236k)
9. Контрастер (pdf, 299k)
Список литературы (pdf, 210k)