GPT-3 (Generative Pre-trained Transformer 3) — это языковая модель от OpenAI, ставшая одним из самых заметных достижений в области ИИ. Её архитектура основана на трансформерах — типе нейросетей, способных обрабатывать большие объёмы текста и улавливать сложные языковые зависимости. GPT-3 особенно выделяется масштабом и универсальностью: она может генерировать текст, переводить, отвечать на вопросы и даже писать код.

Основные особенности архитектуры GPT-3:
Масштаб. GPT-3 содержит 175 миллиардов параметров — в разы больше, чем у её предшественника. Такой размер позволяет ей улавливать тонкие смысловые нюансы и выдавать убедительный, «человеческий» текст.
Однонаправленное внимание. Модель предсказывает следующее слово, двигаясь слева направо. Это позволяет ей сохранять последовательность и логичность текста, хотя и ограничивает работу с контекстом в обратную сторону.
Отсутствие дообучения. Вместо настройки под конкретные задачи, GPT-3 использует метод «обучения с подсказкой»: достаточно правильно сформулировать ввод, и модель адаптирует ответ к нужному формату.
Слои и механизмы внимания. Архитектура включает сотни слоёв с механизмом self-attention — он помогает определять, какие слова в предложении важнее, чтобы учитывать их при генерации следующего слова.
Универсальность. Благодаря архитектуре трансформеров и масштабному обучению на разнородных данных GPT-3 умеет решать самые разные задачи — от креативного письма до анализа кода, без отдельной настройки под каждую.

GPT-3 работает исключительно как языковая модель: она не обучается в процессе диалога и не запоминает пользователей. Её сила — в заранее полученных знаниях и способности применять их в новых контекстах. Именно сочетание масштаба, архитектуры и способности к «обучению на лету» делает GPT-3 уникальной в своей нише.