Home Arrow Icon Knowledge base Arrow Icon Global Arrow Icon Mitä erityisiä vertailuarvoja Deepseek ja Copilot on testattu


Mitä erityisiä vertailuarvoja Deepseek ja Copilot on testattu


Deepseek ja Copilot on testattu eri vertailuarvoihin, jotka esittelivät niiden ominaisuuksia eri alueilla.

Deepseek -vertailuarvot

Deepseek, etenkin sen R1 -malli, on arvioitu useissa vertailuarvoissa:

- Matematiikan vertailuarvot: Deepseek R1 esiintyi voimakkaasti matematiikassa, ja se teki 79,8% Aime 2024 -vertailussa, hiukan edellä Openain O1-1217: stä 79,2%: lla. Math-500-vertailuarvolla Deepseek R1 saavutti vaikuttavan 97,3%, ylittäen Openain O1-1217: n 96,4%: lla [3] [5].

- Koodausvertailuarvot: Koodaustehtävissä DeepSeek R1 saavutti kilpailukykyisen 96,3% Codeforces-vertailuarvolla, joka seurasi tiiviisti Openain O1-1217: tä 96,6%: lla. SWE-Bench todensi vertailukohdan Deepseek R1: n 49,2%, hieman edellä Openain O1-1217: stä 48,9%: lla [3] [5].

- Yleiset tietovertailut: DeepSeek R1 sai 71,5% GPQA Diamond -vertailussa, jäljellä Openai's O1-1217 75,7%: lla. MMLU-vertailukohdassa Deepseek R1 saavutti 90,8%, hiukan Openain O1-1217: n takana 91,8%[3] [5].

- Turvallisuus ja turvallisuus: DeepSek R1 testattiin turvallisuushaavoittuvuuksien varalta Harmbench -vertailuarvolla, joka sisältää luokkia, kuten verkkorikollisuutta ja väärää tietoa. Malli osoitti 100 -prosenttisen hyökkäysten onnistumisaste, mikä osoittaa merkittäviä turvallisuusongelmia verrattuna muihin malliin, kuten Openain O1 [1].

Copilot -vertailuarvot

Kopilot, erityisesti Excelin yhteydessä, on testattu syvän etsintää päästä päähän -vertailussa:

- Excel -kaavan luominen: Copilot kamppaili kaavan luomisen kanssa automaattisen säästövaatimuksensa vuoksi, kun taas Deep Etsing tarjosi joustavampia ratkaisuja, ratkaisemalla ongelmia vähemmän yrityksiä [2].

-Excel Formula Selitys: Copilot tarjosi syntaksipohjaisia ​​selityksiä, kun taas Deep Etsing tarjosi selkeämpiä, käytännöllisempiä monimutkaisia ​​kaavoja, mikä tekee siitä käyttäjäystävällisemmän [2].

Vaikka Copilotia ei ole verrattu laajasti samalla tavalla kuin Deepseek erilaisissa päättely- ja koodaustehtävissä, se tunnustetaan sen ominaisuuksista koodausapua, etenkin Microsoft -ympäristöissä [4].

Viittaukset:
.
.
[3] https://www.datacamp.com/blog/deepseek-R1
.
.
.
.
.