iOS 26 tutvustab Apple'i visuaalse intelligentsuse tehnoloogia olulist arengut, laiendades selle võimalusi lihtsast kaamerapõhisest tuvastusest ulatusliku pildi parsimiseni otse seadme ekraanisisu. See uuendus määratleb selle viisi, kuidas kasutajad suhtlevad piltide ja visuaalse sisuga nende iPhonide rakenduste ja ekraanipiltide vahel, eriti need, mis on varustatud Apple'i uusima räniga, et täiustatud tekke töötlemiseks.
Visuaalne intelligentsus sai alguse iOS 18.2 -st kaamera juhtimisfunktsioonina, mis võimaldab iPhone'i kaameral kirjeldada ümbrust, tõlkida teksti ja tuvastada mitmesuguseid objekte, nagu taimed ja loomad reaalajas. IOS 26 -ga on Apple muutnud visuaalse intelligentsuse põhjalikumaks visuaalse analüüsi tööriistaks, mis ei piira enam selle kasulikkust füüsiliselt täheldava kaameraga, kuid ulatub sügavale seadme enda ekraanisisu, sealhulgas ekraanipilte ja rakenduste pilte.
Võtme esiletõst on see, et kasutajad saavad ekraanisisu visuaalse intelligentsuse aktiveerida, vajutades ekraanipiltide tegemiseks samu nuppe. See toiming käivitab liidese, mis võimaldab kasutajatel suhelda selle jäädvustatud visuaalse andmetega mitme intelligentse valiku kaudu vastavalt tuvastatud sisu tüübile. Süsteem saab eraldada pilte konkreetsete objektide või tekstisegmentide jaoks ekraanipildis või ekraani jäädvustamises ja edastada asjakohast teavet, otsingutulemusi või otseseid toiminguid, näiteks kalendrisündmuste lisamine või ülesandeloendite loomine tunnustatud üksikasjadest.
Tehnilisest vaatenurgast on Visual Intelligence'i piltide parsimine Apple'i keerukas AI, mis on osa laiemast "Apple Intelligence" ökosüsteemist. See ökosüsteem täiustab Siri, kirjutades tööriistu ja ökosüsteemi teadlikkust Apple'i seadmetes. Deavice-töötlemise tuginemine säilitab kasutajate privaatsuse, vältides andmete üleslaadimist välistesse serveritesse ja töötlemisnõuded nõuavad võimsat räni, mida leitakse ainult uuemates iPhone'i mudelites (iPhone 15 Pro, 16 seeria, 17 seeria) ning ühilduvad iPadid ja Macs.
Objektide tüübid visuaalne intelligentsus on tuvastatud. Lisaks põhiloomadele ja taimedele tunneb see nüüd nii kaamera sisendite kui ka ekraanipiltide kunstiteoseid, raamatuid, vaatamisväärsusi, looduslikke vaatamisväärsusi ja skulptuure. See lai spektri äratundmine võimaldab süsteemil pakkuda rikkalikke kontekstuaalseid andmeid, alates maali või skulptuuri tuvastamisest kuni ekraanipildi või reaalajas kaameravaate tegevuse üksikasjade esitamiseni.
Arendajad saavad sellest täiustusest kasu ka täiendatud rakenduse kavatsuste API kaudu, mis võimaldab kolmandate osapoolte rakendustel integreeruda visuaalse intelligentsusega. See võimaldab uuenduslikke rakendusi nagu Fitness Apps, mis eraldavad treeningplaanid ekraanipiltidelt, kokandusrakendused retseptipiltide muutmiseks toidukaupade loenditesse, ja produktiivsuse tööriistad, mis tõlgendavad tahvlite fotosid toimivaks sisuks.
Üks visuaalse intelligentsuse funktsionaalsuse praktiline näide hõlmab sündmuse flaieri ekraanipildi võtmist ja AI -le kuupäeva ja sündmuse üksikasjade viimist, võimalusega lisada see otse kalendrisse. Süsteem saab ekraanipildis ka sihitud pildiotsinguid teha, võimaldades kasutajal ekraanil olevaid konkreetseid piirkondi või objekte ringi liikuda, saates need veebipõhiste pildiotsingu tulemuste jaoks (näiteks Google Image Search). Kasutajad saavad isegi vestlusprogrammidelt nagu ChatGPT küsimusi ekraanipildi elementide kohta, ühendades visuaalse intelligentsuse vestlusliku AI -ga interaktiivsema kogemuse saamiseks.
See pildi parsimise ja sisu analüüsi funktsioon ületab lihtsalt objektide tuvastamise või otsingute tegemise; See võimaldab kasutajatel sõltuvalt kontekstist võtta viivitamatuid ja tähenduslikke toiminguid. Näiteks visuaalse intelligentsuse kaudu saab toitu tellida restoranimenüüst ekraanipildis, teha broneeringuid, vaadata toimumiskoha tööaega või panna kõnesid otse visuaalselt leitud kontaktteabe abil. Teksti sõelumise võime võimaldab reaalajas tõlkeid, kokkuvõtteid ja valjusti lugemist, suurendades juurdepääsetavust ja keeltevahelist mõistmist.
Visual Intelligence'i arhitektuur on kiiruse ja privaatsuse tagamiseks tugevalt optimeeritud. Funktsiooni reaalajas reageeringud ja analüüs esinevad täielikult seadmel, ilma et oleks vaja Interneti-ühendust, võimaldades kasutajatel saada koheseid tulemusi ilma latentsusaja või pilve töötlemisega seotud privaatsusprobleemideta. See teeb sellest teedrajava sammu konteksti teadlikus arvutuses, nihutades seadmeid passiivsete meediasaatejuhtidelt ennetavatele abistajatele, mis tõlgendavad ja tegutsevad visuaalsed andmed sujuvalt.
IOS 26-ga on süsteemi visuaalse intelligentsuse liides kasutajasõbralik ja intuitiivne. Pärast funktsiooni käivitamist ekraanipiltide nuppude või kaamerajuhtimise kaudu näevad kasutajad kontekstipõhist kuvatavat suvandeid, näiteks küsige, otsige, või konkreetseid rakenduste toiminguid, mis võimaldavad sujuvat suhtlemist. Arukas parsimismootor määrab arukalt sisu tüübi, olgu see tekst, kunst, maamärk, kontaktteave või sündmuste üksikasjad ning kohandab dünaamiliselt oma väljundi ja saadaolevaid kasutajatoiminguid vastavalt.
Piirangud püsivad seadme toe osas, kuna arvutuslik intensiivsus tähendab visuaalse intelligentsuse täielikke võimalusi Apple'i kõige arenenumate kiibide jaoks. Veelgi enam, teatud objektide äratundmisfunktsioonide keeletugi on praegu peamiselt inglise keeles, kusjuures Apple töötab funktsiooni küpsedes laiema mitmekeelse toe kallal.
Kokkuvõtlikult võib öelda, et iOS 26 visuaalse intelligentsuse piltide parsimine kujutab AI-toega visuaalse analüüsi integreerimisel igapäevase nutitelefoni kasutamise integreerimisel märkimisväärset edasiliikumist. Tehnoloogia nihkub reageerivast kaamerapõhisest objekti tuvastamisest ennetavaks tööriistaks, mis muudab ekraanisisu toimivaks teadmisteks, võimaldades kasutajatel oma seadmete ja teabega uuel, vedelatel viisidel suhelda. See uuendus seab aluse tulevaste Apple'i liideste poole, kus kontekst ja kavatsused kujundavad interaktsioone, segades visiooni, teadmisi ja tegevusi privaatsuse ja reageerimisvõime osas.
***Ülaltoodud üksikasjalik areng, funktsionaalsus, arendajate integreerimine, kasutajaliidesed ja praktilised näited tähistavad visuaalse intelligentsuse piltide parsimisvõimaluste olemust iOS 26-s, nagu on välja kuulutatud ja täpsustatud erinevates Apple'iga seotud allikates ja ekspertide kajastuses 2025. aastal.