В результатах поиска недостаточно информации, чтобы напрямую ответить на запрос о вычислительных компромиссах использования гибридной модели Anpropic. Тем не менее, результаты поиска предоставляют некоторую информацию о моделях Антрии и вычислительных стратегиях.
Антропический широко использует конституционный ИИ (CAI) в своих моделях Claude, которые включают синтетические данные [2]. Они считаются лидером в использовании синтетических данных [2]. Добавление большего контекста в процесс делает предпосыльные возможности модели намного выше для критических синтетических данных, и системы труднее разработать [2]. Антропическим выводится, что многие из их методов на самом деле не работают без их модели вознаграждения / RLHF в параметрах 50B и выше [2].
Запуск современных моделей является дорогостоящим с точки зрения инфраструктуры и вычислений, а также антропных потребностей инвестиций и потоков доходов для работы над текущими и будущими моделями [5].
Цитаты:
[1] https://www.reddit.com/r/singularity/comments/1dyhjwc/the_problem_with_anpropic/
[2] https://www.interconnects.ai/p/llm-synthetic-data
[3] https://ailabwatch.org/companies/anthropic/
[4] https://www.techrepublic.com/article/anthropic-claude-large-language-model-research/
[5] https://www.lesswrong.com/posts/mnpbctmzmqd7yk4q8/my- Instresting-of-anpropic-Strategy
[6] https://www.inc.com/ben-sherry/anthropic-just-announced-its-most-advanced-ai-model-yet-these-ar-it-top-cases.html
[7] https://research.contrary.com/company/anthropic
[8] https://cloud.google.com/blog/products/ai-machine-learning/anthropics-claude-3-opus-and-tool-use-are-generally-available-on-vertex-ai