Hakutuloksissa ei ole tarpeeksi tietoa vastaamaan suoraan Antropicin hybridimallin käytön laskennallisista kompromisseista. Hakutulokset tarjoavat kuitenkin joitain tietoja antropisen malleista ja laskennallisista strategioista.
Antropinen käyttää perustuslaillista AI (CAI) laajasti niiden Claude -malleissa, joihin sisältyy synteettinen tieto [2]. Niitä pidetään synteettisen tiedon käytön johtajana [2]. Lisää kontekstin lisääminen prosessiin tekee mallin ennakkoedellytyksistä paljon korkeammat synteettisen datan kritiikkien suhteen, ja järjestelmiä on vaikeampi suunnitella [2]. Antropinen päättelee, että suuri osa heidän menetelmistä ei todellakaan toimi ilman palkkiomalli / RLHF -ominaisuuksia 50B -parametreilla ja UP: llä [2].
Huipputekniset mallit ovat kalliita infrastruktuurin ja laskennan suhteen, ja antropiset tarvitsee investointeja ja tuloja nykyisten ja tulevien mallien työskentelemiseksi [5].
Viittaukset:
[1] https://www.reddit.com/r/singularity/comments/1dyhjwc/the_problem_with_anthropic/
[2] https://www.interconnects.ai/p/llm-syntetic-data
[3] https://ailabwatch.org/companies/anthropic/
.
.
.
[7] https://research.contrary.com/company/anthropic
.