Deepseek ja Copilot on testattu eri vertailuarvoihin, jotka esittelivät niiden ominaisuuksia eri alueilla.
Deepseek -vertailuarvot
Deepseek, etenkin sen R1 -malli, on arvioitu useissa vertailuarvoissa:
- Matematiikan vertailuarvot: Deepseek R1 esiintyi voimakkaasti matematiikassa, ja se teki 79,8% Aime 2024 -vertailussa, hiukan edellä Openain O1-1217: stä 79,2%: lla. Math-500-vertailuarvolla Deepseek R1 saavutti vaikuttavan 97,3%, ylittäen Openain O1-1217: n 96,4%: lla [3] [5].
- Koodausvertailuarvot: Koodaustehtävissä DeepSeek R1 saavutti kilpailukykyisen 96,3% Codeforces-vertailuarvolla, joka seurasi tiiviisti Openain O1-1217: tä 96,6%: lla. SWE-Bench todensi vertailukohdan Deepseek R1: n 49,2%, hieman edellä Openain O1-1217: stä 48,9%: lla [3] [5].
- Yleiset tietovertailut: DeepSeek R1 sai 71,5% GPQA Diamond -vertailussa, jäljellä Openai's O1-1217 75,7%: lla. MMLU-vertailukohdassa Deepseek R1 saavutti 90,8%, hiukan Openain O1-1217: n takana 91,8%[3] [5].
- Turvallisuus ja turvallisuus: DeepSek R1 testattiin turvallisuushaavoittuvuuksien varalta Harmbench -vertailuarvolla, joka sisältää luokkia, kuten verkkorikollisuutta ja väärää tietoa. Malli osoitti 100 -prosenttisen hyökkäysten onnistumisaste, mikä osoittaa merkittäviä turvallisuusongelmia verrattuna muihin malliin, kuten Openain O1 [1].
Copilot -vertailuarvot
Kopilot, erityisesti Excelin yhteydessä, on testattu syvän etsintää päästä päähän -vertailussa:
- Excel -kaavan luominen: Copilot kamppaili kaavan luomisen kanssa automaattisen säästövaatimuksensa vuoksi, kun taas Deep Etsing tarjosi joustavampia ratkaisuja, ratkaisemalla ongelmia vähemmän yrityksiä [2].
-Excel Formula Selitys: Copilot tarjosi syntaksipohjaisia selityksiä, kun taas Deep Etsing tarjosi selkeämpiä, käytännöllisempiä monimutkaisia kaavoja, mikä tekee siitä käyttäjäystävällisemmän [2].
Vaikka Copilotia ei ole verrattu laajasti samalla tavalla kuin Deepseek erilaisissa päättely- ja koodaustehtävissä, se tunnustetaan sen ominaisuuksista koodausapua, etenkin Microsoft -ympäristöissä [4].
Viittaukset:
.
.
[3] https://www.datacamp.com/blog/deepseek-R1
.
.
.
.
.