NumPy ir SciPy yra viena kitą papildančios bibliotekos, kurios puikiai veikia kartu atliekant mašininio mokymosi užduotis. Štai kaip jie papildo vienas kitą:
Skaitmeninės operacijos
- NumPy: teikia efektyvius daugiamačius masyvo objektus ir procedūrų rinkinį, skirtą darbui su šiais masyvais, įskaitant matematinį, loginį, formų manipuliavimą, rūšiavimą, pasirinkimą, I/O, diskrečiąsias Furjė transformacijas, pagrindinę tiesinę algebrą, pagrindinę. statistinės operacijos, atsitiktinis modeliavimas ir daug daugiau.- SciPy: pagrįsta NumPy ir suteikia daug patogių ir veiksmingų skaitinių veiksmų, pvz., skaitmeninės integracijos, interpoliacijos, optimizavimo, tiesinės algebros ir statistikos procedūras.
Mašininio mokymosi algoritmai
– NumPy: pateikia pagrindines duomenų struktūras ir matematines funkcijas, reikalingas pagrindiniams mašininio mokymosi algoritmams įgyvendinti nuo nulio, pvz., tiesinę regresiją, logistinę regresiją, sprendimų medžius ir kt.– SciPy: teikia pažangesnius mašininio mokymosi ir duomenų gavybos algoritmus, tokius kaip klasterizavimas (k-vidurkis, hierarchinis ir kt.), klasifikavimas (SVM, atsitiktiniai miškai ir kt.), regresija (kraigas, laso ir kt.). ) ir matmenų mažinimas (PCA, ICA ir kt.).
Išankstinis duomenų apdorojimas
– NumPy: naudinga atliekant tokias operacijas kaip pertvarkymas, indeksavimas ir manipuliavimas masyvais, kurie yra įprastos išankstinio duomenų apdorojimo užduotys.- SciPy: teikia duomenų failų skaitymo / rašymo, interpoliavimo, signalų apdorojimo ir optimizavimo funkcijas, kurios taip pat svarbios išankstiniam duomenų apdorojimui.
Vizualizacija
- NumPy: pateikia pagrindines duomenų struktūras (masyvai), kurias naudoja vizualizacijos bibliotekos, tokios kaip Matplotlib.– SciPy: teikia brėžinių, histogramų ir kitų vizualizacijų, kurias galima naudoti duomenims tyrinėti ir suprasti, generavimo funkcijas.
Optimizavimas ir tiesinė algebra
- NumPy: teikia efektyvias tiesinės algebros operacijas ir optimizuotas skaitmeninių skaičiavimų procedūras.- SciPy: remiasi NumPy linijinės algebros moduliu ir teikia pažangesnius optimizavimo algoritmus ir skaitinės tiesinės algebros procedūras.
Apibendrinant galima pasakyti, kad „NumPy“ teikia pagrindines skaitmenines ir masyvais pagrįstas operacijas, o „SciPy“ remiasi „NumPy“ ir siūlo platesnį mokslinių ir techninių skaičiavimo modulių asortimentą, įskaitant daugelį naudingų mašininio mokymosi užduotims. Naudodami juos kartu galėsite panaudoti abiejų bibliotekų pranašumus kuriant galingus ir efektyvius mašininio mokymosi modelius.
Citatos:
[1] https://www.youtube.com/watch?v=gYcrEZW-xek
[2] https://www.slideshare.net/slideshow/numpy-and-scipy-for-data-mining-and-data-analysis-include-ipython-scikits-and-matplotlib/9215295
[3] https://www.linkedin.com/advice/3/what-differences-between-pandas-numpy-scipy-data-manipulation-eyvke
[4] https://www.freelancinggig.com/blog/2018/12/09/what-is-the-difference-between-numpy-and-scipy/
[5] https://data-flair.training/blogs/numpy-vs-scipy/
Kaip SciPy pagerina mašininio mokymosi modelių našumą, palyginti su tik NumPy naudojimu
SciPy pagerina mašininio mokymosi modelių našumą, palyginti su tik NumPy naudojimu keliais pagrindiniais būdais:
1. Išplėstiniai algoritmai: „SciPy“ suteikia prieigą prie įvairesnių pažangių skaitmeninių algoritmų ir optimizavimo veiksmų, kurie yra labai optimizuoti našumui. Tai apima tokius dalykus kaip retos matricos operacijos, netiesiniai sprendėjai, signalų apdorojimo funkcijos ir specializuoti mašininio mokymosi algoritmai, tokie kaip SVM, k-means ir PCA. Šie pažangūs algoritmai dažnai gali pranokti pagrindines linijinės algebros operacijas, kurias galima atlikti vien tik NumPy.
2. Efektyvios duomenų struktūros: „SciPy“ naudoja efektyvesnes duomenų struktūras, pvz., retas matricas, kurios gali žymiai pagerinti tam tikrų tipų mašininio mokymosi problemas, ypač susijusias su dideliais, retais duomenų rinkiniais.
3. Lygiagretizavimas: nors pati „NumPy“ neteikia tiesioginių lygiagrečių diegimų, „SciPy“ gali pasinaudoti lygiagretumu per pagrindines bibliotekas, tokias kaip „OpenBLAS“ arba „Intel MKL“. Tai leidžia „SciPy“ panaudoti kelių branduolių CPU ir GPU, kad būtų pagreitintas skaičiavimas.
4. Specializuoti moduliai: „SciPy“ apima specializuotus modulius, pvz., „scipy.stats“ ir „scipy.optimize“, kurie teikia labai optimizuotus įprastų statistikos ir optimizavimo procedūrų, naudojamų mašininiam mokymuisi, diegimus, pvz., tikimybių skirstinius, hipotezių testus, šaknį radimas ir skaitmeninis integravimas.
5. Ekosistemų integravimas: „SciPy“ yra glaudžiai integruota su platesne Python duomenų mokslo ekosistema, įskaitant tokias bibliotekas kaip „NumPy“, „Pandas“ ir „Scikit-learn“. Tai leidžia mašininio mokymosi modeliams, sukurtiems naudojant SciPy, sklandžiai išnaudoti šių kitų bibliotekų funkcionalumą ir našumą.
Apibendrinant galima pasakyti, kad nors „NumPy“ teikia pagrindines skaitmenines operacijas, „SciPy“ remiasi šiuo pagrindu, kad pateiktų išsamesnį labai optimizuotų procedūrų ir duomenų struktūrų rinkinį, galintį žymiai pagerinti mašininio mokymosi modelių veikimą, ypač sudėtingesnių ar didesnio masto problemų atveju. „NumPy“ ir „SciPy“ derinys yra galingas įrankis, skirtas efektyviam ir našiam mašininiam mokymuisi „Python“.
Citatos:[1] https://edbennett.github.io/high-performance-python/06-numpy-scipy/index.html
[2] https://www.youtube.com/watch?v=gYcrEZW-xek
[3] https://realpython.com/numpy-tensorflow-performance/
[4] https://data-flair.training/blogs/numpy-vs-scipy/
[5] https://github.com/numpy/numpy/issues/23829