Дальневосточный государственный медицинский университет Поиск | Личный кабинет | Авторизация
Поиск статьи по названию
Поиск книги по названию
Каталог рубрик
в коллекциюДобавить в коллекцию

АВТОМАТИЧЕСКАЯ ОЦЕНКА ТЕСТОВ HA ВЕРБАЛЬНУЮ КРЕАТИВНОСТЬ: ОТ ЛЕКСИЧЕСКИХ БАЗ ДАННЫХ К БОЛЬШИМ ЯЗЫКОВЫМ МОДЕЛЯМ


Аннотация:

B статье рассматривается эволюция методов автоматической оценки вербальных тестов на дивергентное мышление. Основным предметом внимания исследователей становится возможность оценить оригинальность ответов испытуемых с помощью подсчета их семантической удаленности от стимульной задачи. B период с 2009 по 2019 г. главным методом оценки семантических расстояний стал латентно-семантический анализ. B целом, с точки зрения внутренней согласованности и корреляции с экспертными оценками, его применение давало удовлетворительные результаты, позволяя сохранить допустимый баланс качества и затраченных усилий. Однако выявились проблемы (зависимость оценок от используемого корпуса, нестабильность результатов, систематические искажения, связанные с длиной анализируемых ответов), которые заставили исследователей перейти к более продвинутым моделям дистрибутивной семантики (GloVe, Word2Vec), большим языковым моделям и обучению с учителем. Большие языковые модели (особенно дообученпые на материале тестов креативности) показали более высокую эффективность, чем модели, оценивающие семантические расстояния, и приблизились к оценкам, которые дают эксперты. Помимо оценки оригинальности, в статье рассматриваются работы, в которых предлагаются методы автоматической оценки разработанности, гибкости, ассоциативного потока и дивергентной семантической интеграции. Приводятся ссылки на онлайн-платформы, позволяющие получать автоматические оценки оригинальности ответов на дивергентные тесты. Обсуждается проблема интерпретации полученных с помощью больших языковых моделей результатов. Недостатком применения этих моделей является отсутствие понимания, па каких основаниях выносится суждение об оригинальности творческих продуктов. Обсуждаются перспективы применения объяснимого искусственного интеллекта для оценки результатов вербальных и невербальных тестов творческого мышления. Ключевые слова: дивергентные тесты, оригинальность, автоматическая обработка, семантические расстояния, дистрибутивная семантика, латентно-семантический анализ, большие языковые модели.

Авторы:

Валуева Е.А.
Панфилова А.С.
Рафикова А.С.

Издание: Психология.Журнал Высшей школы экономики
Год издания: 2024
Объем: 24с.
Дополнительная информация: 2024.-N 1.-С.202-225. Библ. 15 назв.
Просмотров: 6

Рубрики
Ключевые слова
gl
word
автоматическая
автоматический
анализ
ассоциативная
базы
баланс
болеющие
большая
вербальное
внимание
внутренняя
возможности
высокий
гибкая
главные
данные
длина
допустимый
зависимости
задач
зрения
интеграция
интеллект
интерпретация
искажения
искусственная
исследования
исследователя
качества
ключ
корреляция
коры
креативность
латентная
материал
метод
методов
модели
мышление
невербальное
нестабильность
обработка
обучение
одного
онлайн
основание
основной
особый
ответ
отсутствие
оценивающие
оценка
оценок
период
перспективы
подсчет
поза
пола
помощи
поток
предмета
применение
проблема
продуктов
психологические
психология
работа
расстояния
результата
связанные
семантика
семантический
систематические
слова
согласованная
сравнительная
сравнительные
статьи
стимула
суждение
творческие
тестовые
тесты
точка
учитель
целом
эволюция
экспертная
эксперты
эффективность
языковая
языковые
языкознание
Ваш уровень доступа: Посетитель (IP-адрес: 18.188.227.64)
Яндекс.Метрика