PRACTICAL BASIS FOR THE SYNTHESIS OF NEURAL NETWORK CLASSIFIERS OF OBJECTS CHARACTERIZED BY LINGUISTIC PARAMETERS
PRACTICAL BASIS FOR THE SYNTHESIS OF NEURAL NETWORK CLASSIFIERS OF OBJECTS CHARACTERIZED BY LINGUISTIC PARAMETERS
Abstract
The article is dedicated to the development and practical approbation of the methodology of synthesis of neural network classifiers of multidimensional objects in the presence of linguistic parameters consisting of a set of fuzzy sets (fuzzy numbers) in their characteristics.
The introduction substantiates the relevance of the topic, which logically follows from the Federal Project ‘Artificial Intelligence’ and is not aimed at solving the practical tasks necessary to perform in accordance with the increase in the index of intellectual maturity of industries of the regions.
The topology of the used multilayer artificial neural network is proposed, a modern gradient method of its training and an effective condition for stopping the process are used. A priori division of the training sample into training and test sets is performed.
The methodology of synthesis of neural network classifier for multidimensional object with fuzzy parameters in Wolfram Mathematica is tested in practice. Graphs of change of classifier accuracy in the process of training and final error matrices are presented.
1. Введение
В настоящее время одно из ключевых направлений развития науки и прикладных исследований сосредоточено в области разработки самоорганизующихся систем, способных обучаться и самообучаться – систем искусственного интеллекта (ИИ). Функционирует Федеральный проект «Искусственный интеллект», который направлен на обучение в области искусственного интеллекта школьников и студентов
.Более 100 вузов страны запустили программы бакалавриата и магистратуры для подготовки специалистов по искусственному интеллекту выпущено уже более 17,6 тыс. кадров, действует 36 бакалаврских и 86 магистерских программ. Более 4,2 тысяч преподавателей повысили свою квалификацию в сфере ИИ.
По Федеральному проекту поддержано 12 исследовательских центров в сфере ИИ на базе следующих образовательных и научных организаций: Сколтех, ИТМО, Иннополис, НИУ ВШЭ, МФТИ и ИСП РАН, НМИЦ онкологии им. Н.Н. Блохина, Самарский университет им. академика С.П. Королева, Новосибирский государственный университет, НИЯУ МИФИ, ННГУ им. Н.И. Лобачевского, СПбГУ. Они получили гранты на проведение научных исследований, разработку прикладных технологических решений, обучение профильных специалистов, формирование дата-сетов и отраслевых фреймворков.
За 2021-2024 гг. прошел 61 хакатон по ИИ, участие в которых приняли около 37 тыс. человек.
За 2022-23 гг. обучение в сфере ИИ по программам дополнительного профессионального образования для граждан прошли свыше 3,8 тыс. человек.
За 2021-2024 гг. гранты Фонда содействия инновациям по программам ИИ получили более 900 проектов.
За 2021-2023 гг. гранты Сколково по ИИ получили 25 проектов.
Более 69 тыс. школьников прошли обучение компетенциям, необходимым для формирования проектов в области ИИ от Сириуса за 2022-2024 гг.
.Для обеспечения внедрения наиболее успешных практик применения технологий искусственного интеллекта в субъектах России по поручению Президента Российской Федерации разработан индекс интеллектуальной зрелости отраслей регионов
, который оценивает уровень цифровизации региональных органов исполнительной власти, местного самоуправления и организаций, использующих в своей работе модели искусственного интеллекта.Фундаментальной основой систем искусственного интеллекта наиболее часто выступают искусственные нейронные сети
, которые воспроизводят структуру человеческого мозга. Именно бионический подход к проблеме синтеза систем искусственного интеллекта в настоящее время имеет наиболее впечатляющие достижения. Обширный класс задач, которые решаются с помощью нейросетей определяется их топологией и методами обучения .Одной из трудно формализуемых проблем, возникающих при обработке больших массивов данных с помощью нейросетей является задача классификации многомерных объектов, описываемых нечисловыми параметрами (классами, категориями).
В этом направлении важно отметить перспективность симбиоза теорий нейронных сетей и нечеткой логики
, что позволяет добиться синергетического эффекта за счет достоинств обеих теорий и получить практически значимый эффект.Таким образом, целью настоящего исследования является разработка и практическая апробация методологии синтеза нейросетевых классификаторов многомерных объектов при наличии в их характеристиках лингвистических параметров, состоящих из набора нечетких множеств (чисел)
.2. Методы и принципы исследования
Для практической апробации результатов исследования выбрана база данных – обучающая выборка из характеристик 1728 объектов. Фрагмент исходных данных, использовавшихся для обучения и тестирования нейронной сети представлены на рисунке 1.
Рисунок 1 - Фрагмент обучающей выборки
Например, значения соответствующих лингвистических переменных по предметам («Информатика», «Математика», «Физика») определяются тремя термами (нечеткими переменными) «Отлично», «Хорошо» и «Удовлетворительно», которые задаются соответствующими нормальными, выпуклыми, положительными нечеткими числами
.Формальная постановка задачи классификации:
требуется идентифицировать отображение f:X->Y,где Y={«Оценка»} – итоговая лингвистическая переменная, значения которой определяются соответствующими нечеткими переменными (симптомами) {«Плохо», «Удовлетворительно», «Хорошо», «Отлично»}, X={«ФизПодгототовка», «Культура», «Внешний вид», «Информатика», «Математика», «Физика»} – лингвистические переменные (предпосылки).
Для построения классификатора использовалась искусственная многослойная нейронная сеть прямого распространения с двумя скрытыми слоями (с 4 и 30 нейронами, соответственно) с функцией активации типа «рампа». Входной слой содержит 6 нейронов, в выходном слое 1 нейрон – нечеткая оценка/Output (см. рис. 2).
Рисунок 2 - Топология нейросети
Для обучения нейронной сети использовался метод случайного градиентного спуск (SGD) , .
В качестве критерия останова использовалось следующее правило – обучение заканчивается, если за последние 50 эпох (раундов) точность классификации оставалась практически неизменной.
3. Основные результаты
На рисунке 3 приведены графики изменения точности классификации для обучающего и проверочного множеств данных. Решение осуществлялось в среде системы символьной математики Wolfram Mathematica
, .
Рисунок 3 - Изменение точности в процессе обучения
Основные характеристики процесса обучения нейросети приведены на рисунке 4.
Рисунок 4 - Информация о процессе обучения
Отметим, что решение этой задачи с помощью стандартного классификатора, использующего, например, метод логистической регрессии в системе Wolfram Mathematica, обеспечивает точность только 84%.
На рисунке 5 представлены итоговые матрицы ошибок для обучающего и проверочного множеств данных, соответственно.
Рисунок 5 - Матрицы ошибок
4. Заключение
Предложена практико-ориентированная методология решения задачи классификация сложных объектов, описываемых набором параметров, представляющих собой значения лингвистических переменных, содержащих множества нечетких термов (переменных).
Разработана структура искусственной многослойной нейронной сети, адаптированной на решение задачи классификации. Осуществлен выбор числа скрытых слоев нейронной сети и функции активации. Реализовано кодирование категориальных переменных в двоичные вектора.
Реализован метод случайного градиентного спуска, который позволяет находить эффективное решение задачи. Проведена серия тестовых испытаний для определения оптимальных параметров настройки алгоритма градиентного спуска.
Полученное решение интерпретируется как нечеткое (треугольное, трапециевидное или гауссово) число с определенным значением функции принадлежности элемента к соответствующему нечеткому множеству.
Разработанная методология является унифицированной и может быть применена для решения широкого круга задач из различных предметных областей.