Dewu เพิ่มการค้นหาด้วย Apple Visual Intelligence? สิ่งที่เปลี่ยนแปลงสำหรับแอปพลิเคชัน

Dewu เพิ่มการค้นหาด้วย Apple Visual Intelligence? ในรายงานเมื่อวันที่ 8 พฤศจิกายน ITHome ระบุว่า Dewu แพลตฟอร์มอีคอมเมิร์ซของจีนได้ประกาศรองรับการค้นหาด้วยภาพ Apple Intelligence แบบแปลภาษาท้องถิ่นบนอุปกรณ์ iPhone ที่รองรับ ตามรายงานระบุว่าผู้ใช้ที่ติดตั้ง Dewu สามารถถ่ายภาพสินค้าด้วยกล้องของระบบ เลือก Dewu จากผู้ให้บริการค้นหาที่มีอยู่ และดูรายการสินค้าที่ตรงกันก่อนที่จะนำทางไปยังหน้าจอรายละเอียดสินค้าในแอปพลิเคชันได้โดยตรง แม้ว่าเส้นทางของผู้ใช้ที่แสดงให้เห็นจะชัดเจน แต่โปรโตคอลการส่งต่อเบื้องหลังของ Dewu ยังไม่ได้ถูกเปิดเผยต่อสาธารณะในรายงานดังกล่าว เนื่องจากระบบปฏิบัติการมือถือเริ่มนำการค้นหาแบบหลายรูปแบบ (multimodal search) มาไว้ในช่องมองภาพของกล้องโดยตรง ทีมพัฒนาจึงต้องประเมินว่าการค้นหาระดับระบบเชื่อมต่อกับการนำทางในแอปพลิเคชันเนทีฟ การส่งต่อพารามิเตอร์ และความต่อเนื่องในการนำทางอย่างไร

สิ่งที่ Dewu ประกาศเกี่ยวกับการค้นหาด้วย Apple Visual Intelligence

สรุปสั้นๆ

• รายงานระบุว่า Dewu ประกาศรองรับการค้นหาด้วยภาพ Apple Intelligence ซึ่งช่วยให้ผู้ใช้ iPhone สามารถระบุสินค้าเชิงพาณิชย์ได้โดยตรงผ่านช่องมองภาพของกล้อง
• ฟีเจอร์นี้ได้รับการสาธิตในช่วงทดสอบใช้งาน หลังจากที่ Apple ปล่อยเวอร์ชันเบตาสำหรับนักพัฒนาในวันที่ 4 พฤศจิกายน ก่อนที่จะมีการเปิดตัวในวงกว้างพร้อมกับ iOS 27.3 ในเดือนธันวาคม
• ขั้นตอนการทำงานที่แสดงให้เห็นคือการส่งต่อโดยตรงจากการจดจำภาพของระบบไปยังหน้าจอรายละเอียดสินค้าเนทีฟของ Dewu พร้อมแสดงแนวโน้มราคาและข้อมูลผลิตภัณฑ์

การผสานรวมนี้ถือเป็นการผสานรวมการค้าปลีกเชิงพาณิชย์ครั้งแรกๆ กับโครงสร้างพื้นฐานการค้นหาด้วยภาพแบบโลคัลไลเซชันของ Apple ในจีนแผ่นดินใหญ่ ในอดีต การค้าปลีกผ่านภาพกำหนดให้ผู้ใช้ต้องเปิดแอปพลิเคชันค้าปลีกเฉพาะ ค้นหาไอคอนกล้องภายในแถบค้นหาของแอป และถ่ายภาพวัตถุภายในสภาพแวดล้อมปิดนั้น ขั้นตอนที่หลากหลายเหล่านี้มักทำให้เกิดความยุ่งยาก เนื่องจากผู้ใช้ต้องตัดสินใจว่าจะค้นหาบนแพลตฟอร์มใดก่อนที่จะบันทึกภาพ

ด้วยการวางระบบจดจำภาพไว้ในกล้องของระบบโดยตรง ระบบปฏิบัติการจึงย้ายขั้นตอนการค้นหาออกนอกแอปพลิเคชันแต่ละตัว ตามรายงานจาก ITHome ผู้ใช้ที่พบสินค้าจริง เช่น รองเท้าวิ่ง สามารถเรียกใช้ Visual Intelligence จัดองค์ประกอบภาพ และเลือก Dewu เป็นบริการเป้าหมาย จากนั้นระบบจะแสดงรายการแคตตาล็อกที่ตรงกันและการประมาณราคา

ประกาศอย่างเป็นทางการระบุว่าฟีเจอร์อัจฉริยะแบบโลคัลไลเซชันเริ่มทดสอบเบตานักพัฒนาในวันที่ 4 พฤศจิกายน โดยมีกำหนดการใช้งานในวงกว้างควบคู่ไปกับ iOS 27.3 ในเดือนธันวาคม ตามรายละเอียดจากห้องข่าว Apple ประเทศจีน เนื่องจากฟีเจอร์ดังกล่าวยังอยู่ในวงจรตัวอย่างที่ใช้งานอยู่ การสาธิตสาธารณะในปัจจุบันจึงสะท้อนถึงการใช้งานทดสอบเฉพาะกลุ่ม แทนที่จะเป็นความสามารถที่เปิดใช้งานทั่วไปสำหรับผู้ค้าบุคคลที่สามทั้งหมด

เส้นทางผู้ใช้ที่สาธิตจากช่องมองภาพของกล้องสู่หน้าจอรายละเอียดสินค้า

ประสบการณ์ผู้ใช้ที่สาธิตแสดงให้เห็นถึงการเปลี่ยนผ่านที่รวดเร็วจากการค้นพบทางกายภาพไปสู่การประเมินการทำธุรกรรม เมื่อผู้ใช้แตะผลลัพธ์การค้นหาที่สร้างขึ้นจากการค้นหาด้วยภาพ ระบบจะเปลี่ยนผ่านเข้าสู่แอปพลิเคชัน Dewu โดยตรง แทนที่จะไปถึงหน้าฟีดหลักทั่วไปหรือหน้าผลลัพธ์การค้นหาด้วยข้อความกว้างๆ ผู้ใช้จะมาถึงหน้าจอรายละเอียดสินค้าเฉพาะที่ตรงกับ าพถ่ายของรายการนั้น

เมื่อเข้ามาในแอปพลิเคชันแล้ว ผู้ใช้สามารถตรวจสอบข้อมูลจำเพาะของวัสดุ ตรวจสอบความผันผวนของราคาย้อนหลังผ่านกราฟแนวโน้มของแพลตฟอร์ม และอ่านความคิดเห็นของผู้บริโภคที่รวบรวมไว้ก่อนที่จะตัดสินใจซื้อ

แม้ว่าขั้นตอนนี้จะช่วยให้ผู้ใช้เข้าถึงได้ง่ายขึ้น แต่สิ่งสำคัญคือต้องแยกแยะระหว่างการค้นพบผลิตภัณฑ์ทั่วไปกับการจับคู่สินค้าคงคลังที่แม่นยำ การมาถึงหน้าจอรายละเอียดสินค้าไม่ได้หมายความว่าคุณลักษณะหน่วยการเก็บรักษา (SKU) เฉพาะ เช่น ขนาดรองเท้าหรือรูปแบบสี จะถูกเลือกโดยอัตโนมัติ การค้นหาด้วยภาพจะนำผู้ใช้ไปยังรายการแคตตาล็อกที่ถูกต้อง ซึ่งหลังจากนั้นผู้ซื้อยังคงต้องยืนยันการตั้งค่าความต้องการในการซื้อเฉพาะของตนเอง

Apple Visual Intelligence Search: เอกสาร API และโครงสร้างพื้นฐานของระบบ

ในขณะที่รายงานเบื้องต้นอธิบายประสบการณ์ในลักษณะลิงก์ตรง แต่นักพัฒนาบุคคลที่สามไม่สามารถสันนิษฐานได้ว่าระบบปฏิบัติการพึ่งพาการเปลี่ยนเส้นทางเว็บมาตรฐานเพียงอย่างเดียว เอกสารสาธารณะของ Apple สำหรับ Visual Intelligence อธิบายถึงโมเดลการบูรณาการที่มีโครงสร้างและเชิงความหมาย แทนที่จะเป็นการเปลี่ยนเส้นทางเว็บเบราว์เซอร์แบบเปิด

อ้างอิงจากเอกสารประกอบ Apple Developer Visual Intelligence คู่มือสาธารณะของ Apple อธิบายถึงการใช้งาน IntentValueQuery ที่รับ SemanticContentDescriptor แอปสามารถใช้ป้ายกำกับที่มีอยู่หรือข้อมูลภาพเพื่อค้นหาเนื้อหาและส่งคืนค่า AppEntity ที่ตรงกัน จากนั้น OpenIntent สามารถเปิดเอนทิตีที่เลือกในแอปได้ นี่คือโมเดลการบูรณาการตามเอกสารของ Apple และไม่ได้เป็นการกำหนดการใช้งานเฉพาะของ Dewu

สถาปัตยกรรมแนวคิดของโมเดลการส่งต่อเชิงความหมายนี้แสดงไว้ด้านล่าง:

[จับภาพจากช่องมองภาพของกล้อง] 
              │
              ▼
[เฟรม워크 Visual Intelligence] ──(SemanticContentDescriptor)──> [App's IntentValueQuery]
              │                                                           │
              ▼                                                           ▼
[โอเวอร์레이ผู้ให้บริการระบบ] <────────(ผลลัพธ์ AppEntity ที่ตรงกัน)───────────┘
              │
         (ผู้ใช้แตะ)
              │
              ▼
[การทำงาน OpenIntent] ──(ตัวระบุเอนทิตี)──> [มุมมองรายละเอียดแอปเนทีฟ]

คำอธิบายภาพ: โมเดลตามเอกสารของ Apple ไม่ใช่แผนผังที่ได้รับการยืนยันของการใช้งาน Dewu

โมเดลนี้อาศัยการสืบค้นที่มีโครงสร้างและการแลกเปลี่ยนเอนทิตี เนื่องจากการสื่อสารเกิดขึ้นภายในโครงสร้างพื้นฐานของระบบ แอปพลิเคชันจึงได้รับตัวระบุที่มีโครงสร้างโดยตรง ซึ่งช่วยลดการพึ่งพาการแยกวิเคราะห์ URL สาธารณะ

สิ่งที่ไม่ทราบในการใช้งานและขอบเขตโปรโตคอลสำหรับแอปพลิเคชันบุคคลที่สาม

Dewu ยังไม่ได้เผยแพร่ซอร์สโค้ดภายในหรือข้อกำหนดการเชื่อมต่อเครือข่ายที่ขับเคลื่อนการบูรณาการของตนต่อสาธารณะ ด้วยเหตุนี้ วิศวกรซอฟต์แวร์จึงควรตระหนักว่าสิ่งใดยังคงได้รับการยืนยันและสิ่งใดยังคงไม่ได้รับการยืนยันเกี่ยวกับการใช้งานทางเทคนิค

รายงานและการสาธิตอธิบายขั้นตอนการทำงานสำหรับผู้ใช้ที่ติดตั้งแอปพลิเคชัน Dewu แล้ว:

• การโต้ตอบเกิดขึ้นบนฮาร์ดแวร์ที่รองรับซึ่งใช้ซอฟต์แวร์ตัวอย่างหรือซอฟต์แวร์รุ่นที่เข้าเกณฑ์
• ระบบจะเรียกใช้งานแอปพลิเคชันเนทีฟไปยังมุมมองผลิตภัณฑ์ที่สอดคล้องกันโดยตรง

อย่างไรก็ตาม แหล่งข้อมูลสาธารณะยังไม่ยืนยันว่า:

• Dewu ใช้เวิร์กโฟลว์ AppEntity และ OpenIntent ตามเอกสารของ Apple, Universal Links แบบกำหนดเอง หรือการบูรณาการร่วมกับพาร์ทเนอร์ที่เป็นกรรมสิทธิ์
• โทเค็นการค้นหาจากกล้องสามารถติดตามได้เสมือนแคมเปญการตลาดทั่วไปหรือไม่
• การบูรณาการดังกล่าวส่งต่อข้อมูลเมตาการค้นหาด้วยภาพแบบละเอียด หรือเป็นเพียงตัวระบุแคตตาล็อกแบบคงที่

นอกจากนี้ ทีมเทคนิคต้องเข้าใจขอบเขตของโปรโตคอลการเชื่อมโยงเว็บมาตรฐาน ตามที่ระบุไว้ในแนวปฏิบัติ Apple Universal Links Universal Links มาตรฐานทำงานโดยการเชื่อมโยงโดเมนเว็บเข้ากับแอปผ่านไฟล์ apple-app-site-association ที่โฮสต์ไว้ เมื่อไม่ได้ติดตั้งแอป Universal Links จะเปิด URL ปลายทางในเว็บเบราว์เซอร์เริ่มต้นของผู้ใช้ และไม่ได้จับภาพหรือเก็บบัฟเฟอร์คำค้นหาจากกล้องของระบบข้ามขอบเขตการติดตั้งโดยธรรมชาติ

ข้อควรพิจารณาแยกต่างหากสำหรับแคมเปญเว็บสู่แอป (Web-to-App)

แม้ว่าการค้นหาผ่านกล้องจะทำงานผ่านอินเทอร์เฟซระดับระบบที่แตกต่างกัน แต่ทีมวิศวกรรมก็เผชิญกับความท้าทายในการรักษาเสถียรภาพที่คล้ายคลึงกันเมื่อจัดการช่องทางการได้มาซึ่งผู้ใช้แบบอิสระในสภาพแวดล้อมเว็บ โซเชียล และมือถือ เมื่อเส้นทางของผู้ใช้เริ่มต้นนอกเว็บเบราว์เซอร์เดสก์ท็อปทั่วไป การรักษาความต่อเนื่องของพารามิเตอร์โดยไม่มีคุกกี้ฝั่งไคลเอ็นต์ถือเป็นข้อกำหนดทางเทคนิคทั่วไป

นักพัฒนาต้องประเมินขอบเขตระหว่างเจตนารมณ์ของระบบบนอุปกรณ์และกลไกการนำทางเว็บสู่แอปที่กว้างขึ้น ตารางด้านล่างแสดงความรับผิดชอบในการทำงานของแนวทางสถาปัตยกรรมเหล่านี้:

สำหรับแคมเปญเว็บสู่แอปแยกต่างหาก อาจมีการประเมินใช้งาน OpoInstall สำหรับการส่งมอบพารามิเตอร์แคมเปญหรือการอ้างอิงที่มีสิทธิ์หลังจากการติดตั้ง ตามรายละเอียดในเอกสารผลิตภัณฑ์ OpoInstall ความสามารถเหล่านี้ไม่ได้สร้างการรองรับสำหรับการบูรณาการการค้นหาด้วยกล้องของ Dewu แต่เป็นการให้การกู้คืนพารามิเตอร์ฝั่งเซิร์ฟเวอร์ที่ออกแบบมาเพื่อรักษาบริบทแคมเปญเว็บข้ามการติดตั้งผ่าน App Store เมื่อผู้ใช้มาจากหน้าแลนดิ้งเพจการตลาดหรือลิงก์อ้างอิงภายนอก ทีมวิศวกรรมต้องประเมินการออกแบบอ้างอิงเหล่านี้เพื่อรักษาการไหลของข้อมูลที่เชื่อถือได้ทั่วทั้งช่องทางการได้มาซึ่งผู้ใช้แบบอิสระ พร้อมทั้งปฏิบัติตามมาตรฐานความเป็นส่วนตัวของแพลตฟอร์ม

รายการตรวจสอบการบูรณาการสำหรับทีมวิศวกรรมการค้าปลีกบนมือถือ

เพื่อเตรียมสถาปัตยกรรมแอปพลิเคชันสำหรับการค้นหาแบบหลายรูปแบบ พร้อมทั้งรักษามาตรฐานการลิงก์ที่มีประสิทธิภาพ ทีมพัฒนาและผลิตภัณฑ์ควรตรวจสอบรากฐานการนำทางของตน

รายการตรวจสอบการใช้งานสำหรับนักพัฒนา

• ตรวจสอบ Semantic App Intents: ตรวจสอบการดำเนินการแคตตาล็อกในแอปเพื่อพิจารณาว่าเอนทิตีผลิตภัณฑ์สามารถจัดทำดัชนีได้อย่างสะอาดตาโดยโครงสร้างพื้นฐานของระบบโดยใช้โปรโตคอล AppEntity หรือไม่
• เสริมความแข็งแกร่งให้กับ Universal Link Fallbacks: ตรวจสอบว่ามีการกำหนดค่าโดเมนที่เกี่ยวข้องอย่างถูกต้อง และ URL ของเว็บมีแลนดิ้งเพจที่ใช้งานได้ในเว็บเบราว์เซอร์เริ่มต้นของผู้ใช้หากแอปไม่พร้อมใช้งาน
• แยกตรรกะการนำทาง Deep Link: ตรวจสอบให้แน่ใจว่าเร้าเตอร์การนำทางภายในตรวจสอบพารามิเตอร์ของผลิตภัณฑ์และจัดการกับรายการที่หมดอายุหรือหมดสต็อกได้อย่างราบรื่นโดยที่ UI ไม่ล่ม

รายการตรวจสอบกลยุทธ์ผลิตภัณฑ์และการเติบโต

• แมปช่องทางการเข้าถึงที่แตกต่างกัน: แยกแยะระหว่างการค้นหาด้วยภาพของระบบบนอุปกรณ์และลิงก์การได้มาซึ่งผู้ใช้ผ่านเว็บภายในท่อส่งรายงานภายใน
• ตรวจสอบคุณภาพข้อมูลเมตาของแคตตาล็อก: ตรวจสอบความถูกต้องของชื่อ รูปภาพ และความพร้อมใช้งานที่ส่งคืนผ่านการบูรณาการระบบที่เกี่ยวข้องกับข้อมูลแคตตาล็อกในแอปที่เชื่อถือได้
• ตรวจสอบความถูกต้องของบริบทการเริ่มต้นใช้งาน: สำหรับช่องทางการได้มาซึ่งผู้ใช้ผ่านเว็บ ให้ตรวจสอบว่าพารามิเตอร์การแนะนำผู้ใช้และรหัสโปรโมชันได้รับการรักษาไว้อย่างถูกต้องเมื่อเปิดแอปพลิเคชันครั้งแรกหรือไม่

ประเด็นสำคัญสำหรับทีมวิศวกรรม

การเปิดตัวการค้นหาด้วยภาพระดับระบบบ่งบอกถึงวิวัฒนาการอย่างต่อเนื่องไปสู่การค้นพบแอปพลิเคชันแบบหลายรูปแบบที่ขับเคลื่อนด้วยเจตนา เนื่องจากระบบปฏิบัติการนำความฉลาดทางภาพและบริบทมาไว้ในช่องมองภาพของกล้องโดยตรง แอปพลิเคชันมือถือจึงถูกเรียกใช้งานผ่านตัวกระตุ้นระบบภายนอกมากขึ้น แทนที่จะเป็นการนำทางแบบเน้นแอปเป็นอันดับแรกแบบดั้งเดิม

สำหรับทีมวิศวกรรมที่ปรับตัวให้เข้ากับการเปลี่ยนแปลงนี้ การสร้างสถาปัตยกรรมที่มีความยืดหยุ่นและแยกส่วนยังคงเป็นสิ่งสำคัญ แอปพลิเคชันที่ใช้งานเส้นทางการบูรณาการที่รองรับสามารถแสดงเอนทิตีเชิงความหมายแบบโมดูลาร์ผ่านโครงสร้างพื้นฐานของระบบ เช่น App Intents ในขณะเดียวกันก็รักษาลิงก์เว็บที่เชื่อถือได้และการจัดการสถานะฝั่งเซิร์ฟเวอร์ข้ามช่องทางการตลาดภายนอก การจัดโครงสร้างข้อมูลเมตาของแคตตาล็อกให้สะอาดตาและการแยกตรรกะการนำทางออกจากหน้าจอหลักที่เป็นภาพ จะช่วยให้นักพัฒนาสามารถมั่นใจได้ว่าแอปพลิเคชันของตนจะยังคงตอบสนองได้ดีในขณะที่ระบบปฏิบัติการกำหนดนิยามใหม่ว่าผู้ใช้ค้นหาสินค้าและบริการอย่างไร

ข้อมูลอ้างอิง

• ห้องข่าว Apple ประเทศจีน: ฟีเจอร์ Apple Intelligence กำลังจะมาถึงผู้ใช้ในจีน — การเปิดตัวอย่างเป็นทางการที่มีรายละเอียดแผนการเปิดตัวและกำหนดการทดสอบเบตานักพัฒนาสำหรับความสามารถของ Apple Intelligence แบบโลคัลไลเซชัน

• เอกสารประกอบสำหรับนักพัฒนาของ Apple: การบูรณาการแอปของคุณเข้ากับ Visual Intelligence — คู่มือทางเทคนิคที่มีรายละเอียดเกี่ยวกับโปรโตคอล IntentValueQuery, อินพุต SemanticContentDescriptor, โมเดล AppEntity และการทำงานของ OpenIntent

• เอกสารประกอบสำหรับนักพัฒนาของ Apple: อนุญาตให้แอปและเว็บไซต์ลิงก์ไปยังเนื้อหาของคุณ — ข้อกำหนดเกี่ยวกับ Universal Links, การยืนยันโดเมน และการสำรองข้อมูลเว็บเบราว์เซอร์เริ่มต้น

• ITHome: แอป Dewu ประกาศบูรณาการเข้ากับการค้นหาด้วยภาพของ Apple Intelligence — ข่าวสารผลิตภัณฑ์ที่อธิบายเวิร์กโฟลว์การค้นหาด้วยกล้องที่สาธิตและการนำทางหน้าผลิตภัณฑ์ในแอป

• เอกสารประกอบ OpoInstall: ภาพรวมการส่งมอบพารามิเตอร์แบบเลื่อนเวลา — ภาพรวมทางเทคนิคของการรักษาพารามิเตอร์ฝั่งเซิร์ฟเวอร์สำหรับเส้นทางการติดตั้งผ่านเว็บ