Поиск

Полнотекстовый поиск:
Где искать:
везде
только в названии
только в тексте
Выводить:
описание
слова в тексте
только заголовок

Рекомендуем ознакомиться

'Документ'
Розробники: Колесник Ярослав Валнтинович, к.х.н., доцент кафедри неорганічної хімії, Іванов Володимир Венедиктович, к.х.н., доцент, доцент кафедри хі...полностью>>
'Методические указания'
Настоящие методические указания издаются в соответствии с учебной программой по “Теории механизмов приборов” для студентов специальности 190100 “Приб...полностью>>
'Анализ'
Развивающая: Формировать алгоритмический стиль мышления, развивать логическое мышление, поддерживать постоянный интерес к исследуемому предмету и стр...полностью>>
'Автореферат'
Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Московский государственный университет пищевых п...полностью>>

А. В. Гаврилов новосибирский государственный технический университет avg@vt cs nstu ru Гибридная модель нейронной сети на основе моделей персептрона и art-2 Аннотация Вдоклад

Главная > Доклад
Сохрани ссылку в одной из сетей:

СЕКЦИЯ 6

А.В. ГАВРИЛОВ

Новосибирский государственный технический университет

avg@

ГИБРИДНАЯ МОДЕЛЬ НЕЙРОННОЙ СЕТИ НА ОСНОВЕ

МОДЕЛЕЙ ПЕРСЕПТРОНА И ART-2

Аннотация

В докладе рассматривается модель гибридной нейронной сети, состоящей из модели ART-2 для кластеризации образов и персептрона - для предварительной обработки образов, т.е. для формирования вторичных признаков. Эта модель может использоваться в мобильных роботах для распознавания новых объектов или сцен в поле зрения робота при его движении.

Постановка задачи. Применение модели ART-2 Гроссберга-Карпентера [1] для решения задач классификации и кластеризации весьма привлекательно, так как эта модель совмещает в себе свойства пластичности и стабильности, а также не требует априорного знания о фиксированном количестве необходимых классов.

Однако, эта модель имеет и существенные недостаток. Она предполагает использование всего одного слоя нейронов (не считая входного, ассоциированного с сенсорами). Это приводит к тому, что нейронная сеть работает только с метрикой первичных признаков и вычисляет расстояние между образами (для классификации или создания нового кластера – выходного нейрона), используя обычно евклидово расстояние. Это приводит к тому, что для многих применений модель ART-2 оказывается малопригодной. Например, для кластеризации и распознавания образов мобильным роботом [2, 3] требуется распознавать объект в разных ракурсах и располагающийся в разных частях поля зрения, т.е. распознавание должно быть инвариантным относительно преобразований изображения, таких как сдвиги и вращения.

Инвариантность распознавания обеспечивают многослойные персептроны, так как в них на промежуточных слоях в процессе обучения формируются вторичные признаки. Можно сказать, что в персептронах каждый слой обеспечивает преобразование одной метрики образов в другую.

В докладе предлагается комбинированная модель [4], совмещающая в себе достоинства многослойного персептрона и модели ART-2.

Комбинированная модель нейронной сети. В предлагаемой модели первые несколько слоев нейронов организованы как персептрон прямого распространения, выходы которого являются входами модели Гроссберга-Карпентера ART-2. Персептрон обеспечивает преобразование метрики первичных признаков в метрику вторичных признаков в пространстве значительно меньшей размерности. Нейронная сеть ART-2 классифицирует образы по вторичным признакам. Обучение персептрона, в основе которого лежит обратное распространение ошибки, обеспечивает «притяжение» выходного вектора персептрона к центру уже распознанного кластера. Можно сказать, что распознанный класс является контекстом, в котором распознаются другие образы из обучающей выборки, и в некоторых пределах система «готова распознавать» его и в дальнейшем до тех пор пока в обучающей выборке не появится входной вектор, который персептрон преобразует в вектор, очень отличающийся от вектора-центра «кластера-контекста».

Функционирование предложенной модели описывается следующим алгоритмом, в котором реализуется обучение без учителя.

  1. В персептроне формируются веса связей, равные половине количества нейронов предыдущего слоя. Количество выходных нейронов Nout модели ART-2 считается равным нулю.

  2. Предъявляется очередной пример. Вычисляются выходы нейронов в персептроне.

  3. Если Nout=0, то формируется выходной нейрон с весами связей, равными значениям входов модели ART-2 (выходов персептрона).

  4. Если Nout>0, то в модели ART-2 выполняется обычный для нее алгоритм вычисления расстояний между центрами существующих кластеров (весовых векторов выходных нейронов) и входным вектором модели ART-2. Если расстояние для нейрона-победителя больше определенной величины R, то формируется новый кластер так же, как в шаге 3.

  5. Если расстояние для нейрона-победителя меньше R, то в модели ART-2 пересчитываются веса связей для нейрона-победителя, приближая центр кластера к входному распознанному вектору модели ART2 с учетом количества распознанных ранее векторов этого кластера (чем их было больше, тем меньше изменение весов нейрона-победителя). А для персептрона выполняется пересчет весов по алгоритму обратного распространения ошибки. При этом выходным эталонным вектором считается новый вектор весов выходного нейрона победителя модели ART-2, и количество итераций может быть небольшим (в частности, может быть всего одна итерация).

  6. Алгоритм повторяется с шага 2 до тех пор, пока есть обучающие примеры.

Работа предложенной модели поясняется на рис. 1.

Рис. 1. Пояснение работы алгоритма функционирования гибридной модели

Здесь показано пространство вторичных признаков, в котором точками изображаются выходные вектора персептрона (входные вектора модели ART-2) и центры кластеров, на распознавание которых настроены выходные нейроны модели. На рисунке изображены следующие точки:

1 – новый образ, для которого создан кластер с радиусом R,

2 – новый образ, распознанный как относящийся к этому кластеру,

3 – новый центр кластера, вычисленный в пункте 5 алгоритма,

4 – новый выходной вектор персептрона, приближенный к центру кластера в результате работы алгоритма обратного распространения ошибки,

5 – новый образ, распознанный как принадлежащий другому кластеру.

Эксперименты. Для исследования предложенной модели была разработана программа генерации серии изображений со сдвигом по одной из осей и программная модель нейронной сети, обрабатывающая эту серию изображений. На рис. 2 показана одна из серий изображений, использованная в экспериментах.

Рис. 1. Серия изображений, использованных в экспериментах

В экспериментах использовались также серии нарисованных простых изображений а также, последовательность из двух разных подпоследовательностей.

Предложенный алгоритм обучения без учителя в экспериментах показал хорошие результаты при сравнительно незначительном изменении каждого следующего изображения в обучающей последовательности. Например, при обработке приведенной на рисунке серии новый кластер формировался только при появлении 12-го (последнего из приведенных на рисунке) изображения. При этом были использованы следующие параметры модели:

количество входных нейронов (пикселов) – 10000 (100х100),

количество нейронов в промежуточном слое персептрона – 100,

количество нейронов в выходном слое персептрона (во входном слое ART-2) – 10,

R = 0.01,

рациональная сигмоида со смещением a = 1,

при пересчете весов персептрона использовалась только одна итерация.

Существенных изменений в функционировании модели не наблюдалось при снижении количества нейронов (в скрытом слое – 10, в выходном слое персептрона – 5).

Заключение. Предложенная комбинированная модель нейронной сети может быть использована в мобильном роботе, когда надо отслеживать последовательность изображений, видимых роботом при его движении, и выявлять в ней новые изображения (существенные изменения в видимой роботом сцене).

Модификацией этого алгоритма может быть алгоритм, в котором ограничено количество создаваемых кластеров. В этом случае, если количество кластеров (выходных нейронов) достигло предела, возникает проблема, что делать с образами, которые не распознаются, т.е. не могут быть отнесены ни к одному кластеру. Предлагается в этом случае увеличить параметр R (радиус кластеров) на некоторый шаг и попытаться снова применить алгоритм распознавания и так до тех пор, пока новый образ не будет отнесен к одному из кластеров. После этого, необходимо уменьшить количество кластеров (выходных нейронов), объединяя кластеры с центрами, попавшими в один кластер, и соответственно меняя веса связей между выходами персептрона и выходными нейронами-кластерами.

Модификацией этого алгоритма может быть алгоритм обучения с учителем, в котором прежде, чем применять процедуру увеличения радиуса и сокращения выходных нейронов, система запрашивает «учителя» что делать – применять эту процедуру или создавать новый кластер. В качестве «учителя» может быть не только запрос к пользователю, но и какой-то дополнительный тест на новизну образа.

Планируются следующие дальнейшие исследования предложенной гибридной модели нейронной сети:

математическое обоснование предложенных алгоритмов,

исследование влияния параметров персептрона и ART-2 на эффективность работы нейронной сети,

испытание предложенной модели на программной модели мобильного робота и реальном роботе,

исследование различных модификаций алгоритма гибридной модели.

Список литературы

  1. Carpenter G., A., Grossberg S. Pattern Recognition by Self-Organizing Neural Networks, Cambridge, MA, MIT Press, 1991.

  2. Gavrilov A.V., Gubarev V.V., Jo K.-H., Lee H.-H. Hybrid Neural-based Control System for Mobile Robot // Int Symp. KORUS-2004, Tomsk, 2004. Vol. 1. P. 31-35.

  3. Гаврилов А.В., Губарев В.В., Джо К.-Х., Ли Х.-Х. Гибридная система управления мобильного робота // Мехатроника, автоматизация, управление. 2004. № 8. С.30-37.

  4. Гаврилов А.В. Комбинированная модель нейронной сети на основе моделей персептрона и ART-2 // Материалы Всерос. Семинара «Нейроинформатика и ее применение», Красноярск, 2004.

УДК 004.032.26(06) Нейронные сети 6



Скачать документ

Похожие документы:

  1. Девятая Всероссийская медико-биологическая конференция молодых исследователей

    Документ
    В работах путешественника Семенова – Тянь–Шаньского имеется описание курорта Ак-Суу, его горячих источников (1867 г.). В трудах другого путешественника Н.

Другие похожие документы..