Нургаип Алияр Ерланұлы
Ақпараттық технологиялар және жасанды интеллект факультеті, Ақпараттық жүйелер кафедрасы
Ғылыми жетекші: Көпбосын Лейля Серикбековна, к.т.н., и.о. доцента
В последние годы технологии искусственного интеллекта и компьютерного зрения активно развиваются и находят применение в задачах анализа поведения человека. Одним из наиболее сложных и перспективных направлений является распознавание микровыражений лица, позволяющее выявлять кратковременные, непроизвольные эмоциональные реакции, которые человек не всегда способен контролировать или осознавать. Актуальность данной темы обусловлена ростом потребности в интеллектуальных системах, способных анализировать эмоциональное состояние человека в реальном времени и использовать эти данные в образовательных, медицинских, аналитических и прикладных системах взаимодействия человек-компьютер.В рамках данного исследования разработана интеллектуальная система AliyarFace, предназначенная для автоматического распознавания микровыражений лица и анализа эмоционального состояния человека на основе методов компьютерного зрения и глубокого обучения.
- Технологические основы распознавания микровыражений
Система AliyarFace базируется на современных методах машинного обучения и нейронных сетей, которые позволяют выполнять анализ изображений лица с высокой точностью. В качестве основной модели используется архитектура ResNet-18, относящаяся к сверточным нейронным сетям, которая эффективно извлекает признаки из визуальных данных и выполняет классификацию эмоциональных состояний.Для повышения точности анализа применяется технология MediaPipe Face Mesh, обеспечивающая определение до 468 ключевых точек лица. Это позволяет фиксировать даже минимальные изменения мимики, что особенно важно при анализе микровыражений, длительность которых составляет доли секунды.Дополнительно используется концепция Action Units (AU), описывающая активность отдельных лицевых мышц и их интенсивность. Анализ AU позволяет более точно интерпретировать эмоции, так как учитывает не только общий вид выражения лица, но и микродвижения отдельных мышечных групп.Система поддерживает распознавание базовых эмоциональных состояний, таких как радость, грусть, гнев, страх, удивление, отвращение и нейтральное состояние, а также выполняет анализ переходных и смешанных эмоций, которые часто встречаются в реальных условиях.
- Архитектура и реализация системы AliyarFace
Разработанная система AliyarFace представляет собой интеллектуальное программное решение, работающее с видеопотоком в режиме реального времени. Архитектура системы построена по модульному принципу и включает несколько основных этапов обработки данных: захват изображения с камеры, детекция лица, нормализация изображения, извлечение ключевых точек, анализ мимических признаков и последующая классификация эмоционального состояния.Серверная часть системы реализована на языке программирования Python 3.10 с использованием фреймворка FastAPI, обеспечивающего высокую производительность и удобное взаимодействие через REST API. Для реализации моделей машинного обучения используется библиотека PyTorch, позволяющая эффективно обучать и применять нейронные сети.Клиентская часть системы разработана с использованием современных веб-технологий, что обеспечивает удобный пользовательский интерфейс и визуализацию результатов анализа. Пользователь может в реальном времени наблюдать определённую эмоцию, значения Action Units, а также параметры положения головы, включая углы pitch, yaw и roll.Система может работать как в локальной среде, так и в распределённой архитектуре, где вычислительная нагрузка переносится на серверную часть, что позволяет использовать её на устройствах с различной производительностью.
III. Области применения и перспективы системы AliyarFace
Разработанная система AliyarFace имеет широкий спектр применения в различных сферах человеческой деятельности. В образовательной сфере она может использоваться для анализа вовлечённости студентов, определения уровня внимания и оценки эффективности учебного процесса.В медицине и психологии система может применяться для мониторинга эмоционального состояния пациентов, выявления признаков стресса, тревожности, депрессии и других психоэмоциональных состояний, что особенно важно при дистанционной диагностике.В сфере безопасности AliyarFace может использоваться для анализа поведения людей в общественных местах, выявления эмоционального напряжения и потенциально опасных ситуаций. В маркетинге и UX-аналитике система позволяет исследовать реакцию пользователей на рекламные материалы, интерфейсы и цифровые продукты.Также система может применяться в автомобильной индустрии для мониторинга состояния водителя, включая признаки усталости и потери концентрации. В сфере развлечений и интерактивных технологий она может использоваться для создания адаптивных систем, реагирующих на эмоции пользователя в реальном времени.Перспективы развития системы связаны с повышением точности моделей, улучшением работы в условиях сложного освещения, расширением набора распознаваемых эмоций и интеграцией с многомодальными системами анализа поведения.
Система AliyarFace представляет собой современное интеллектуальное решение для распознавания микровыражений лица и анализа эмоционального состояния человека. Она объединяет методы компьютерного зрения, глубокого обучения и анализа мимики, обеспечивая высокую точность и скорость обработки визуальных данных.Проведённое исследование показывает, что подобные системы имеют высокий потенциал практического применения в различных сферах, связанных с анализом поведения и взаимодействием человека с информационными системами. В дальнейшем развитие системы может быть направлено на повышение её устойчивости к реальным условиям, расширение функциональности и интеграцию с другими интеллектуальными технологиями.
Факультет информационных технологий и искусственного интеллекта, кафедра информационных систем
Научный руководитель: Көпбосын Лейля Серикбековна, к.т.н., и.о. доцента
Студент: Нургаип Алияр Ерланұлы