Исследователи Apple опубликовали работу, которая показывает, что большие языковые модели могут анализировать аудио и данные о движении. Чтобы понять, что делает пользователь. И они справляются на удивление хорошо.
И это имеет огромный потенциал для точного анализа активности, даже когда данных недостаточно. Из исследования, цитирую: «Потоки данных сенсоров предоставляют ценную информацию об активностях и контексте. Мы показываем, что большие языковые модели могут использоваться для классификации активности из аудио и временных рядов данных о движении».
Исследователи использовали Ego4D. Это массивный датасет медиа от первого лица. Тысячи часов реальных условий, от домашних задач до активностей на улице. Датасет включает 20-секундные образцы из 12 активностей: уборка пылесосом, готовка, стирка, еда, игра в баскетбол, футбол, игра с питомцами. А также чтение, использование компьютера, мытьё посуды, просмотр телевизора, тренировка с весами.
Другими словами, большие языковые модели хорошо определяют, что делает пользователь, по базовым сигналам, даже без специальной тренировки. Важно, что большой языковой модели не передавали саму аудиозапись.
Только короткие текстовые описания от аудиомоделей и модели движения, которая отслеживает перемещения через акселерометр и гироскоп. Apple прогнала данные через малые модели, которые генерировали текстовые подписи.
Получается, большие языковые модели понимают, что ты делаешь, по звукам и движениям телефона. Без специальной тренировки.