С. А. ШУМСКИЙ
Предлагаемые Вашему вниманию лекции
по Нейрокомпьютингу является адаптированными отрывками из полного курса - А.А.
Ежов С.А. Шумский "НЕЙРОКОМПЬЮТИНГ и его приложения в экономике", вышедшего
в издательстве МИФИ в 1998 году. Книга написана на основе курса лекций,
прочитанных авторами в экономико-аналитическом институте МИФИ в 1997-1998
учебном году. Книга знакомит читателей с методами нейросетевой обработки
сложных многофакторных данных и с примерами ипользования искусственных
нейронных сетей в области финансов и бизнеса.
ЕжовА.А., Шумский С.А. Нейрокомпьютинг и его
применения в экономике и бизнесе (серия "Учебники экономико-аналитического
института МИФИ" под ред. проф. В.В. Харитонова). М.: МИФИ, 1998. - 224 с.
Лекция
1. Нейрокомпьютинг
Преимущества нейро-эмуляторов
Приложения нейрокомпьютинга
Какие задачи решают нейросети
Где применяются нейросети
Парадигмы нейрокомпьютинга
Что такое парадигмы
Коннекционизм
Локальность и параллелизм вычислений
Программирование: обучение, основанное на данных
Универсальность обучающих алгоритмов
Классификация базовых нейроархитектур
Типы обучения нейросети
Архитектура связей
Классификация по типу связей и типу обучения
(Encoding-Decoding)
Лекция 2. Обучение с учителем: Распознавание образов
Персептроны. Прототипы задач
Возможности многослойных персептронов
Нейрон - классификатор
Выбор функции активации
Двухслойные персептроны
Градиентное обучение многослойных персептронов
Градиентное обучение
Метод обратного распространения ошибки
Эффективность алгоритма back-propagation
Использование алгоритма back-propagation
Вычислительная сложность обучения
Оптимизация размеров сети
Ошибка аппроксимации
Переобучение
Ошибка, связанная со сложностью модели
Оптимизация размера сети
Адаптивная оптимизации архитектуры сети
Валидация обучения
Ранняя остановка обучения
Прореживание связей
Конструктивные алгоритмы
Лекция 3. Обучение без учителя: Сжатие информации
Обобщение данных. Прототипы задач
Нейрон - индикатор
Постановка задачи
Правило обучения Хебба
Правило обучения Ойа
Взаимодействие нейронов: анализ главных компонент
Постановка задачи
Необходимость взаимодействия нейронов
Самообучающийся слой
Сравнение с традиционным статистическим анализом
Соревнование нейронов: кластеризация
Победитель забирает все
Алгоритм обучения соревновательного слоя нейронов
Кластеризация и квантование
Оценка вычислительной сложности обучения
Победитель забирает не все
Упорядочение нейронов: топографические карты
Алгоритм Кохонена
Сети радиального базиса
Аппроксиматоры с локальным базисом
Гибридное обучение
Выводы
Лекция 4. Предобработка данных
Необходимые этапы нейросетевого анализа
Кодирование входов-выходов
Максимизация энтропии как цель предобработки
Типы нечисловых переменных
Кодирование ординальных переменных
Кодирование категориальных переменных
Отличие между входными и выходными переменными
Нормировка и предобработка данных
Индивидуальная нормировка данных
Совместная нормировка: выбеливание входов
Понижение размерности входов
Понижение размерности входов методом главных компонент
Восстановление пропущенных компонент данных
Понижение размерности входов с помощью нейросетей
Квантование входов
Отбор наиболее значимых входов
Линейная значимость входов
Нелинейная значимость входов. Box-counting алгоритмы
Формирование оптимального пространства признаков
Заключение
Лекция 5. Предсказание финансовых временных рядов
Введение: Предсказание как вид бизнеса
Кому нужно предсказывать рынок?
Можно ли предсказывать рынок?
Технический анализ и нейронные сети
Методика предсказания временных рядов
Метод погружения. Теорема Такенса
Эмпирические свидетельства предсказуемости финансовых
рядов
Формирование входного пространства признаков
Выбор функционала ошибки
Обучение нейросетей
Формирование пространства признаков
Способы погружения временного ряда
Понижение размерности входов: признаки
Метод искусственных примеров (hints)
Измерение качества предсказаний
Связь предсказуемости с нормой прибыли
Выбор функционала ошибки
Использование комитетов сетей
Возможная норма прибыли нейросетевых предсказаний
Заключение
Лекция 6. Предсказание рисков и рейтингование
Введение: предсказание рисков
Рейтинги ценных бумаг
Рейтинг корпоративных облигаций
Оценка акций
Предсказание рисков банкротств
Исторические корни
Нейросетевое предсказание банкротств
Обсуждение
Сравнительный анализ финансового состояния фирм
Постановка задачи
Данные о российских банках
Сечения
Линейное сжатие информации - метод главных компонент
Нелинейное сжатие информации - карты Кохонена
Расположение на карте банков с отозванной лицензией
Раскраски карты Кохонена
Карта размеров банков
Балансовые показатели
Обсуждение
Выводы