IOS 26 esittelee merkittävän kehityksen Applen visuaalisessa älykkyystekniikassa, laajentamalla sen ominaisuuksia yksinkertaisesta kamerapohjaisesta tunnistuksesta laajaan kuvan jäsentämiseen suoraan laitteen näytön sisältöön. Tämä päivitys määrittelee tapaan, jolla käyttäjät ovat vuorovaikutuksessa kuvien ja visuaalisen sisällön kanssa sovellusten ja kuvakaappausten välillä iPhonissa, etenkin ne, jotka on varustettu Applen uusimmalla piillä tehostettuun laitteiden käsittelyyn.
Visuaalinen älykkyys on peräisin iOS 18.2: sta kameranhallintaominaisuutena, jonka avulla iPhone -kamera voi kuvata ympäristöä, kääntää tekstiä ja tunnistaa erilaisia esineitä, kuten kasveja ja eläimiä reaaliajassa. IOS 26: n avulla Apple on muuttanut visuaalisen älykkyyden kattavammaksi visuaalisen analyysin työkaluksi, joka ei enää rajoita sen apuohjelmaa siihen, mitä kamera havaitsee fyysisesti, mutta ulottuu syvälle laitteen omaan näytön sisältöön, mukaan lukien kuvakaappaukset ja sovelluskuvat.
Tärkein kohokohta on, että käyttäjät voivat aktivoida visuaalisen älykkyyden näytön sisältöön painamalla samoja painikkeita, joita käytetään kuvakaappausten ottamiseen. Tämä toiminto laukaisee käyttöliittymän, jonka avulla käyttäjät voivat olla vuorovaikutuksessa kyseisen kaapatun visuaalisen datan kanssa useiden älykkäiden vaihtoehtojen avulla havaitun sisällön tyypin mukaan. Järjestelmä voi leikata kuvia tietyille objekteille tai tekstisegmenteille kuvakaappauksen tai näytön sieppaamisessa ja toimittaa asiaankuuluvia tietoja, hakutuloksia tai suoria toimia, kuten kalenteritapahtumien lisääminen tai tehtäväluetteloiden luominen tunnustetuista yksityiskohdista.
Teknisestä näkökulmasta visuaalisen älykkyyden imago-jäsennystä saa Applen hienostuneella laitteella AI, osa laajempaa "Apple Intelligence" -ekosysteemiä. Tämä ekosysteemi parantaa Siriä, kirjoitustyökaluja ja ekosysteemien tietoisuutta Apple -laitteiden välillä. Luottamus laitteiden käsittelyyn säilyttää käyttäjän yksityisyyden välttämällä tietojen lähettämistä ulkoisiin palvelimiin, ja käsittelyvaatimukset edellyttävät tehokasta piitä, joita löytyy vain uudemmissa iPhone-malleissa (iPhone 15 Pro, 16-sarja, 17-sarja) ja yhteensopivia iPadeja ja Macs.
Visuaalisen älykkyyden tyypit voivat tunnistaa huomattavasti laajentuneet. Peruseläinten ja kasvien lisäksi se tunnistaa nyt taideteokset, kirjat, maamerkit, luonnonmaamerkit ja veistokset sekä kameran syötteiden että kuvakaappausten välillä. Tämän laajan spektrin tunnistuksen avulla järjestelmä voi tarjota rikkaan asiayhteyteen liittyviä tietoja maalauksen tai veistoksen tunnistamisesta operatiivisten yksityiskohtien tarjoamiseen kuvakaappauksessa tai live -kameranäkymässä nähtyistä yrityksistä.
Kehittäjät hyötyvät myös tästä parannuksesta päivitetyn sovellus-aikomuksen API: n kautta, jonka avulla kolmansien osapuolien sovellukset integroituvat visuaaliseen älykkyyteen. Tämä mahdollistaa innovatiiviset sovellukset, kuten kunto -sovellukset, jotka purkavat kuvakaappauksista harjoitussuunnitelmat, keittosovellukset, jotka muuttavat reseptikuvat päivittäistavarakauppaluetteloiksi, ja tuottavuustyökalut tulkitsevat taulun valokuvia toimivaksi sisältöksi.
Yksi käytännöllinen esimerkki visuaalisen älykkyyden toiminnasta sisältää kuvakaappauksen tapahtumalehtisen ottamisen ja AI: n jäsentäminen päivämäärän ja tapahtumien yksityiskohdista, ja kyky lisätä se suoraan kalenteriin. Järjestelmä voi myös suorittaa kohdennettuja kuvahakuja kuvakaappauksessa antamalla käyttäjälle kiertää näytön tietyt alueet tai objektit lähettämällä nämä verkkopohjaisiin kuvahakutuloksiin (kuten Google Image Search). Käyttäjät voivat jopa kysyä chatboteja, kuten chatgpt -kysymyksiä kuvakaappauksen elementeistä, linkittämällä visuaalisen älykkyyden keskusteluun interaktiivisemman kokemuksen saamiseksi.
Tämä kuvan jäsentämis- ja sisältöanalyysiominaisuus ylittää vain objektien tunnistamisen tai hakujen suorittamisen; Sen avulla käyttäjät voivat ryhtyä välittömiin, merkityksellisiin toimiin kontekstista riippuen. Esimerkiksi visuaalisen älykkyyden kautta voidaan tilata ruokaa kuvakaappauksessa nähtystä ravintolavalikosta, tehdä varauksia, tarkastella tapahtumapaikan käyttöaikoja tai soittaa suoraan puheluita visuaalisesti löydettyjen yhteystietojen avulla. Kyky jäsentää tekstiä mahdollistaa reaaliaikaiset käännökset, yhteenvedot ja ääneen lukemisen, saavutettavuuden ja kielenvälisen ymmärryksen parantamisen.
Visuaalisen älykkyyden arkkitehtuuri on optimoitu voimakkaasti nopeuteen ja yksityisyyteen. Ominaisuuden reaaliaikaiset vastaukset ja analytiikat tapahtuvat täysin laitteessa ilman, että käyttäjät voivat vastaanottaa välittömiä tuloksia ilman pilvien käsittelyyn liittyviä viivettä tai yksityisyyden suojaa koskevia huolenaiheita. Tämä tekee siitä uraauurtavan vaiheen asiayhteystietoisessa tietojenkäsittelyssä, passiivisten median esittelijöiden siirtämislaitteissa ennakoiville avustajille, jotka tulkitsevat visuaalista tietoa ja toimivat sujuvasti.
IOS 26: n avulla järjestelmän visuaalisen älykkyyden käyttöliittymä on käyttäjäystävällinen ja intuitiivinen. Kun olet käynnistänyt ominaisuuden kuvakaappauspainikkeiden tai kameran hallinnan kautta, käyttäjät näkevät vaihtoehdot, jotka näytetään kontekstuaalisesti Â, kuten     etsivät,  tai erityiset sovellustoiminnot, jotka mahdollistavat saumattoman vuorovaikutuksen. Älykäs jäsennysmoottori määrittelee älykkäästi sisällön tyypin, olipa se teksti, taide, maamerkki, yhteystiedot tai tapahtumatiedot ja säätää dynaamisesti sen lähtöä ja käytettävissä olevia käyttäjätoimintoja vastaavasti.
Rajoitukset ovat edelleen laitetuen suhteen, koska laskennallinen intensiteetti tarkoittaa, että visuaalisen älykkyyden täydet ominaisuudet on varattu Applen edistyneimmille piirisarjoille. Lisäksi kielten tuki tietyille esineiden tunnistusominaisuuksille on tällä hetkellä pääasiassa englanniksi, ja Apple työskentelee laajemman monikielisen tuen parissa ominaisuuden kypsyessä.
Yhteenvetona voidaan todeta, että iOS 26: n visuaalinen älykkyyskuvan jäsentäminen edustaa huomattavaa etenemistä integroimalla AI-käyttöinen visuaalinen analyysi päivittäiseen älypuhelinten käyttöön. Teknologia siirtyy reaktiivisesta kamerapohjaisesta esineiden tunnistamisesta ennakoivaan työkaluun, joka muuttaa näytön sisällön toimintakykyisiksi oivalluksiksi ja antaa käyttäjille mahdollisuuden olla vuorovaikutuksessa laitteidensa ja tiedonsa kanssa uusilla, sujuvilla tavoilla. Tämä päivitys asettaa perustavan askeleen kohti tulevia Applen rajapintoja, joissa konteksti ja aikomusmuotoilu, sekoittaen syvästi visio, tietoa ja toimintaa laitteessa yksityisyyden ja reagointikyvyn kannalta.
***Yksityiskohtainen kehitys, toiminnallisuus, kehittäjien integrointi, käyttöliittymä ja yllä olevat käytännölliset esimerkit edustavat visuaalisen älykkyyden kuvan jäsentämisominaisuuksia iOS 26: ssa, sellaisena kuin se on ilmoitettu ja kehitetty erilaisissa Applessa liittyvissä lähteissä ja asiantuntijaryhmissä vuonna 2025.