ดำน้ำลึกลงไปในภาพการวิเคราะห์ภาพความฉลาดทางสายตาของ iOS 26

Visual Intelligence มีต้นกำเนิดใน iOS 18.2 เป็นคุณสมบัติการควบคุมกล้องช่วยให้กล้อง iPhone อธิบายสภาพแวดล้อมแปลข้อความและระบุวัตถุต่าง ๆ เช่นพืชและสัตว์ในเวลาจริง ด้วย iOS 26, Apple ได้เปลี่ยนความฉลาดทางสายตาให้เป็นเครื่องมือวิเคราะห์ภาพที่ครอบคลุมมากขึ้นซึ่งไม่ จำกัด ยูทิลิตี้ของสิ่งที่กล้องสังเกตทางร่างกาย แต่ขยายลึกเข้าไปในเนื้อหาหน้าจอของอุปกรณ์เองรวมถึงภาพหน้าจอและภาพแอพ

ไฮไลต์ที่สำคัญคือผู้ใช้สามารถเปิดใช้งาน Visual Intelligence บนเนื้อหาหน้าจอโดยกดปุ่มเดียวกับที่ใช้ในการถ่ายภาพหน้าจอ การดำเนินการนี้ทำให้เกิดอินเทอร์เฟซที่อนุญาตให้ผู้ใช้โต้ตอบกับข้อมูลภาพที่จับได้ผ่านตัวเลือกอัจฉริยะหลายตัวเลือกตามประเภทของเนื้อหาที่ตรวจพบ ระบบสามารถผ่าภาพสำหรับวัตถุเฉพาะหรือเซ็กเมนต์ข้อความภายในภาพหน้าจอหรือการจับภาพหน้าจอและส่งข้อมูลที่เกี่ยวข้องผลการค้นหาหรือการกระทำโดยตรงเช่นการเพิ่มเหตุการณ์ปฏิทินหรือสร้างรายการสิ่งที่ต้องทำจากรายละเอียดที่รู้จัก

จากมุมมองทางเทคนิคการแยกวิเคราะห์ภาพของ Visual Intelligence นั้นขับเคลื่อนโดย AI ในอุปกรณ์ที่ซับซ้อนของ Apple ซึ่งเป็นส่วนหนึ่งของระบบนิเวศ "Apple Intelligence" ที่กว้างขึ้น ระบบนิเวศนี้ช่วยเพิ่ม Siri เครื่องมือการเขียนและการรับรู้ของระบบนิเวศในอุปกรณ์ Apple การพึ่งพาการประมวลผลในอุปกรณ์รักษาความเป็นส่วนตัวของผู้ใช้โดยหลีกเลี่ยงการอัปโหลดข้อมูลไปยังเซิร์ฟเวอร์ภายนอกและความต้องการการประมวลผลจำเป็นต้องมีซิลิคอนที่ทรงพลังที่พบได้เฉพาะในรุ่น iPhone รุ่นใหม่ (iPhone 15 Pro, 16 Series, 17 Series) และ iPads และ Mac ที่เข้ากันได้

ประเภทของวัตถุความฉลาดทางสายตาสามารถระบุได้มีการขยายอย่างเห็นได้ชัด นอกเหนือจากสัตว์และพืชขั้นพื้นฐานตอนนี้ยังจดจำงานศิลปะหนังสือสถานที่สำคัญสถานที่สำคัญและประติมากรรมในทั้งอินพุตกล้องและภาพหน้าจอ การรับรู้สเปกตรัมในวงกว้างนี้ช่วยให้ระบบนำเสนอข้อมูลบริบทที่หลากหลายตั้งแต่การระบุภาพวาดหรือประติมากรรมไปจนถึงการให้รายละเอียดการดำเนินงานเกี่ยวกับธุรกิจที่เห็นในภาพหน้าจอหรือมุมมองกล้องถ่ายทอดสด

นักพัฒนายังได้รับประโยชน์จากการปรับปรุงนี้ผ่านแอพที่อัพเกรด Intents API ซึ่งช่วยให้แอพของบุคคลที่สามรวมเข้ากับ Visual Intelligence สิ่งนี้ช่วยให้แอพพลิเคชั่นที่เป็นนวัตกรรมเช่นแอพฟิตเนสที่แยกแผนการออกกำลังกายจากภาพหน้าจอแอพทำอาหารแปลงภาพสูตรอาหารเป็นรายการของชำและเครื่องมือเพิ่มประสิทธิภาพการตีความภาพถ่ายไวท์บอร์ดเป็นเนื้อหาที่สามารถดำเนินการได้

ตัวอย่างหนึ่งที่ใช้งานได้จริงของฟังก์ชั่นการมองเห็นภาพรวมถึงการจับภาพหน้าจอของใบปลิวเหตุการณ์และให้ AI แยกวิเคราะห์รายละเอียดวันที่และเหตุการณ์ด้วยความสามารถในการเพิ่มลงในปฏิทินโดยตรง ระบบยังสามารถทำการค้นหาภาพที่กำหนดเป้าหมายภายในภาพหน้าจอโดยอนุญาตให้ผู้ใช้สามารถวงกลมพื้นที่หรือวัตถุเฉพาะบนหน้าจอส่งสิ่งเหล่านี้สำหรับผลการค้นหาภาพบนเว็บ (เช่นการค้นหาภาพ Google) ผู้ใช้ยังสามารถถาม chatbots เช่นคำถาม chatgpt เกี่ยวกับองค์ประกอบในภาพหน้าจอเชื่อมโยงสติปัญญาภาพกับ AI การสนทนาเพื่อประสบการณ์การโต้ตอบมากขึ้น

คุณสมบัติการแยกวิเคราะห์ภาพและการวิเคราะห์เนื้อหานี้นอกเหนือไปจากการระบุวัตถุหรือทำการค้นหา ช่วยให้ผู้ใช้สามารถดำเนินการได้ทันทีและมีความหมายขึ้นอยู่กับบริบท ตัวอย่างเช่นผ่านสติปัญญา Visual เราสามารถสั่งอาหารจากเมนูร้านอาหารที่เห็นในสกรีนช็อตทำการจองดูเวลาทำงานของสถานที่หรือโทรติดต่อโดยตรงโดยใช้ข้อมูลการติดต่อที่พบด้วยสายตา ความสามารถในการแยกวิเคราะห์ข้อความช่วยให้การแปลแบบเรียลไทม์สรุปและการอ่านออกเสียงเพิ่มความสามารถในการเข้าถึงและความเข้าใจข้ามภาษา

สถาปัตยกรรมของ Visual Intelligence ได้รับการปรับให้เหมาะสมอย่างมากสำหรับความเร็วและความเป็นส่วนตัว การตอบสนองแบบเรียลไทม์ของคุณลักษณะเกิดขึ้นอย่างเต็มที่โดยไม่ต้องมีการเชื่อมต่ออินเทอร์เน็ตทำให้ผู้ใช้สามารถรับผลลัพธ์ได้ทันทีโดยไม่ต้องตอบสนองหรือข้อกังวลด้านความเป็นส่วนตัวที่เกี่ยวข้องกับการประมวลผลคลาวด์ สิ่งนี้ทำให้เป็นขั้นตอนการบุกเบิกในการประมวลผลบริบทที่เปลี่ยนอุปกรณ์จากผู้นำเสนอสื่อแบบพาสซีฟไปยังผู้ช่วยเชิงรุกที่ตีความและดำเนินการกับข้อมูลภาพอย่างคล่องแคล่ว

ด้วย iOS 26 อินเทอร์เฟซของระบบสำหรับ Visual Intelligence นั้นใช้งานง่ายและใช้งานง่าย หลังจากทริกเกอร์คุณสมบัติผ่านปุ่มภาพหน้าจอหรือการควบคุมกล้องผู้ใช้จะเห็นตัวเลือกที่แสดงบริบทเช่นถามÂÂÂÂÂÂÂÂâหรือการกระทำของแอพที่เฉพาะเจาะจง เอ็นจิ้นการแยกวิเคราะห์อัจฉริยะจะกำหนดประเภทของเนื้อหาอย่างชาญฉลาดไม่ว่าจะเป็นข้อความศิลปะสถานที่สำคัญข้อมูลการติดต่อหรือรายละเอียดเหตุการณ์และปรับผลลัพธ์แบบไดนามิกและการกระทำของผู้ใช้ที่มีอยู่

ข้อ จำกัด ยังคงอยู่ในแง่ของการสนับสนุนอุปกรณ์เนื่องจากความเข้มของการคำนวณหมายถึงความสามารถเต็มรูปแบบของ Visual Intelligence ถูกสงวนไว้สำหรับชิปเซ็ตที่ทันสมัยที่สุดของ Apple ยิ่งไปกว่านั้นการสนับสนุนภาษาสำหรับคุณสมบัติการจดจำวัตถุบางอย่างในปัจจุบันเป็นภาษาอังกฤษเป็นหลักโดย Apple ทำงานเพื่อรองรับหลายภาษาที่กว้างขึ้นเมื่อคุณลักษณะเติบโตขึ้น

โดยสรุปการแยกวิเคราะห์ภาพข้อมูลอัจฉริยะของ iOS 26 แสดงให้เห็นถึงความก้าวหน้าอย่างมากในการรวมการวิเคราะห์ภาพ AI ที่ใช้พลังงาน AI เข้ากับการใช้สมาร์ทโฟนทุกวัน เทคโนโลยีเปลี่ยนจากการจดจำวัตถุที่ใช้กล้องที่มีปฏิกิริยาเป็นเครื่องมือเชิงรุกที่เปลี่ยนเนื้อหาบนหน้าจอให้เป็นข้อมูลเชิงลึกที่สามารถดำเนินการได้ช่วยให้ผู้ใช้สามารถโต้ตอบกับอุปกรณ์และข้อมูลในรูปแบบใหม่ของเหลว การอัพเกรดนี้กำหนดขั้นตอนพื้นฐานไปสู่อินเทอร์เฟซ Apple ในอนาคตซึ่งบริบทและการโต้ตอบของรูปร่างมีการโต้ตอบการผสมผสานการผสมผสานความรู้และการกระทำอย่างลึกซึ้งเพื่อความเป็นส่วนตัวและการตอบสนอง