Может ли глобальный семантический контекст улучшить модели нейронного языка? Я не знаю, но это вопрос, который был задан и на который дан ответ в последней записи Apple’s Machine Learning Journal.

От Apple:

Сегодня большинство методов обучения встраиванию слов фиксируют локальный контекст данного слова в предложении в виде окна, содержащего относительно небольшое количество слов (скажем, 5) до и после рассматриваемого слова — «компания, которую оно держит» поблизости. Например, слово «самоочевидный» в Декларации независимости США имеет локальный контекст, определяемый словами «придерживайтесь этих истин» слева и «все люди созданы» справа.

В этой статье мы опишем расширение этого подхода на тот, который вместо этого охватывает всю семантическую структуру документа — например, всю Декларацию независимости. Может ли этот глобальный семантический контекст привести к лучшим языковым моделям? Давайте сначала посмотрим на текущее использование встраивания слов.

Это умопомрачительный материал, но он хорош для тех, кто интересуется тем, как Apple работает над улучшением Siri и таких систем, как QuickType.

ВЕКТОР | Рене Ричи

Оцените статью!