Какая языковая модель искусственного интеллекта сегодня является наиболее эффективной?

Стоит узнать, какие языковые модели искусственного интеллекта являются наиболее эффективными и как они сравниваются, поскольку Perceptrader AI EA использует большие языковые модели для облегчения анализа рынка.

Эта тема заслуживает более пристального внимания.

Различные модели LLM ИИ можно сравнивать друг с другом и измерять несколькими способами. Эффективность LLM можно оценить с помощью различных методов благодаря ресурсу, созданному профессиональными учеными-компьютерщиками. Три различных способа измерения производительности представлены в простой таблице.

Оценки основаны на человеческих оценках в первом столбце. Люди могут сравнить разные ответы LLM на отдельном веб-сайте. Затем на основе этих сравнений рассчитывается оценка.

Как и в первом столбце оценок, во втором столбце оценок используется наиболее эффективный LLM, GPT-4. Благодаря этому он способен оценивать многие ответы, не требуя вмешательства человека. Интересно отметить, что результаты очень похожи на результаты человеческих оценок, описанные в этой научной статье. GPT-4 предвзята при измерении собственных ответов, хотя очевидно, что она предпочитает собственные ответы.

В третьей колонке оценок вы найдете множество вопросов по самым разным темам. Здесь можно найти самые разнообразные вопросы, включая элементарную математику, историю США, информатику, право и так далее. GPT-3 был первым LLM, оцененным с его использованием в 2020 году.

Чему мы можем научиться из этого?

Проще говоря, GPT-4 работает лучше всего среди больших языковых моделей, независимо от того, как его измерять. Поэтому Perceptrader AI использует его в качестве базовой модели. Клод, вторая лучшая модель, принадлежит Anthropic, конкуренту OpenAI. GPT-3.5 и все его конкуренты проигрывают, несмотря на то, что Claude предоставляет большее контекстное окно, до 100 тыс. токенов (около 75 000 слов). Это ваш LLM, если вы хотите подвести итоги книги.

По сравнению со всеми своими конкурентами, Bard, основанный на модели PaLM, отстает от них всех. Поскольку у него есть доступ к Интернету, в некоторых сценариях он может быть лучшим выбором, поскольку не всегда требуется обновлять его текущими данными. GPT-4 вряд ли обгонит следующий Google LLM.

В заключение

Клод и Бард входят в число других претендентов, обладающих уникальными функциями, подходящими для различных нужд, особенно в отношении Perceptrader AI. Кроме того, модели с открытым исходным кодом, такие как семейство Llama, можно обучить на конкретных данных, чтобы превзойти своих конкурентов. По этой причине крайне важно выбрать LLM, который учитывает как общую производительность, так и уникальные требования поставленной задачи. В дальнейшем мы можем ожидать, что ситуация будет меняться, и такие компании, как Google, готовятся бросить вызов нынешним лидерам. Любой трейдер или другой профессионал, стремящийся использовать возможности искусственного интеллекта, должен быть в курсе этих событий.

Помимо любви к программному обеспечению алгоритмический трейдинг, Валерия Мищенко, разработчик Perceptrader AI очарован последние достижения в области технологий искусственного интеллекта. Она утверждает, что исследования в этой области занимают большую часть ее времени. Она была бы рада поделиться дополнительной информацией со своими клиентами в будущем, если им это будет интересно.