Il n'y a pas suffisamment d'informations dans les résultats de recherche pour répondre directement à la question sur les compromis de calcul de l'utilisation du modèle hybride d'Anthropic. Cependant, les résultats de la recherche fournissent des informations sur les modèles et les stratégies de calcul d'Anthropic.
Anthropique utilise de manière approfondie l'IA constitutionnelle (CAI) dans leurs modèles Claude, qui implique des données synthétiques [2]. Ils sont considérés comme un leader dans l'utilisation des données synthétiques [2]. L'ajout de plus de contexte dans le processus rend les capacités préalables du modèle beaucoup plus élevées pour les données synthétiques de la critique, et les systèmes sont plus difficiles à concevoir [2]. Il est déduit par Anthropic que beaucoup de leurs méthodes ne fonctionnent pas vraiment sans leurs capacités de modèle de récompense / RLHF à 50B paramètres et plus [2].
La gestion de modèles de pointe est coûteuse en termes d'infrastructure et de calcul, et anthropique a besoin d'investissement et de sources de revenus pour fonctionner sur les modèles actuels et futurs [5].
Citations:
[1] https://www.reddit.com/r/singularity/comments/1dyhjwc/the_problem_with_anthropic/
[2] https://www.interconnects.ai/p/llm-synthetic-data
[3] https://ailabwatch.org/companies/anthropic/
[4] https://www.techrepublic.com/article/anthropic-claude-large-language-model-research/
[5] https://www.lesswrong.com/posts/mnpbctmzmqd7yk4q8/my-undenspanding-of-sthropic-strategy
[6] https://www.inc.com/ben-sherry/anthropic-just-announced-its-most-advanced-ai-model-yet-thishe-aare-top-use-cases.html
[7] https://research.contrary.com/company/anthropic
[8] https://cloud.google.com/blog/products/ai-machine-learning/anthropics-claude-3-opus-and-tool-use-are-leneral-available-on-vertex-ai