Home / Главная Search / Поиск
Knopka1.Ru - Дизайн и программирование сайтов Knopka1.Ru - Разработка программ и баз данных на заказ
Принимаем к оплате кредитные карты и другие онлайн (интернет платежи)
Принимаем к оплате кредитные карты и онлайн(интернет) деньги, включая обычные банковские переводы по счету/акту

Описание алгоритма смешанного обучения нейросетей BP и GA



Подробного описания алгоритма обратного распространения мы здесь не приводим по причине достаточного количества источников в Интернете.
 
Итак. Для получения "идеальной" нейросети мы будем использовать пул из N сейтей (N>100... чем больше тем лучше и зависит от вычислительных возможностей компьютера и "тяжести" конкретной задачи.).
 
ГА (генетический алгоритм) подразумевает использование 2-х основных операций над членами семейства - скрещивание (crossover) и мутация (mutation).
 
В нашем алгоритме эти две операции могут иметь место чаще с плохими членами сети (плохая история средней ошибки). Под скрещиванием мы будем понимать появление новой нейросети, 2 части которой образованны из разных 2х нейросетей, а под мутацией - 2 операции - либо метод обучения обратного распространения ошибки, либо рандомизация (случайное изменение коэффициентов с определенной степенью в зависимости от истории ошибок).
 
Для более оптимального обновления сетей мы введем понятие элиты - M нейросетей с хорошей историей ошибки и минимальным коэффициентом обучения BP (менее 0.001).
 
Суперэлитой назовем K нейросети с минимальной ошибкой из числа элиты (K<M), которые не получают никакого обновления и могут быть вытесняны только нейросейтями с более лучшей историей ошибки.
 
После каждой итерации (обучения) - каждая сеть может получить обновление в соотвествии со средней исторической ошибкой нейросети. Таким образом хорошая нейросеть обновляется реже (или вообще не обновляется) и фактически никогда не применяется скрещивание или мутация-рандомизация, а самые плохие сети  - кандидаты в частное изменение.
 
Как же решаются тут две основные проблемы классических нейросетей?
  • Переученость - нейросети с завышенными коэффициентами (превышающими определенный порог) будут заменены или удалены из пула нейросетей. Кроме того нейросети из числа суперэлиты вообще не обновляются (алгоритм обратного распространения ошибки к ним не применяется)
  • Локальный минимум - преодалевается благодаря разным путям по которым проходят обучения нейросети, ну и конечно - самому количеству нейросетей и генетическому алгоритму.
 
Пожалуйста, если Вас заинтересовала разработка (DLL) или
Вы хотели бы подисcкутировать на данную тему, свяжитесь с нами
 


« Вернуться на страницу "Карта сайта"
Главная | Поиск по сайту | Карта сайта | БД и автоматизация | Система бронирования | Подключение Яндекс Маркета | Прием платежей онлайн | В районах ВАО, г. Москва Rambler's Top100 Яндекс.Метрика