Alibaba Qwen UI Agent ควบคุมโทรศัพท์จริงได้ครอบคลุมกว่า 150 แอปพลิเคชัน

Qwen-UI-Agent สามารถควบคุมโทรศัพท์จริงและอินเทอร์เฟซเดสก์ท็อปได้อย่างเสถียรหรือไม่? รายงานทางเทคนิคสำหรับตระกูลโมเดล Alibaba Qwen UI Agent แสดงให้เห็นถึงแนวทางแบบองค์รวมในการผสานสภาพแวดล้อมมือถือ คอมพิวเตอร์ เบราว์เซอร์ และการวิจัยเชิงลึกเข้าไว้ภายใต้เอเจนต์ GUI รากฐานเดียว ในขณะที่ปัญญาประดิษฐ์แบบหลายรูปแบบ (multimodal AI) เปลี่ยนผ่านจากการป้อนคำสั่งสนทนาไปสู่การปฏิบัติงานจริง โมเดลจะต้องโต้ตอบกับส่วนติดต่อผู้ใช้แบบกราฟิก (GUI) ในลักษณะที่เสถียรและรักษาiสถานะ (stateful) ข้ามแพลตฟอร์มที่หลากหลาย ในอดีต การอัตโนมัติการโต้ตอบข้ามระบบปฏิบัติการจำเป็นต้องใช้สคริปต์เฉพาะที่เปราะบางหรือ API เฉพาะแพลตฟอร์ม ปัจจุบัน เนื่องจากระบบที่เน้นการมองเห็นสามารถวิเคราะห์เค้าโครงภาพและประมวลผลคำสั่งเป็นชุดแบบไดนามิก ทีมวิศวกรรมจึงกำลังประเมินวิธีการสร้าง ทดสอบ และปรับใช้เอเจนต์ GUI รากฐานในสภาพแวดล้อมอุปกรณ์จริง

เหตุใด Alibaba Qwen UI Agent จึงมีความสำคัญต่อการอัตโนมัติบนอุปกรณ์จริง

สรุปสาระสำคัญ

• Qwen-UI-Agent ทำผลงานได้ดีเยี่ยมในระดับแนวหน้าสำหรับการประเมินการใช้งานบนมือถือ โดยทำคะแนนได้ 82.1% บน MobileWorld, 92.2% บน MobileWorld-Real และ 97.5% บน AndroidDaily
• โมเดลนี้ผสานสภาพแวดล้อมมือถือ คอมพิวเตอร์ เบราว์เซอร์ และ DeepSearch เข้าไว้ภายใต้พื้นที่การทำงานที่เน้นการมองเห็นเป็นศูนย์กลาง
• โครงสร้างพื้นฐานการพัฒนาใช้คลัสเตอร์มือถือจริงทางกายภาพ ซึ่งประกอบด้วยสมาร์ทโฟนกว่า 100 เครื่อง ครอบคลุมแอปพลิเคชันสำหรับผู้บริโภคกว่า 150 แอป สำหรับการสร้างงาน การฝึกอบรม และการทดสอบ

วิวัฒนาการของโมเดลรากฐานแบบหลายรูปแบบได้เน้นย้ำถึงความท้าทายในการปฏิบัติงาน นั่นคือ โมเดลภาษาอเนกประสงค์ยังคงแยกส่วนจากอินเทอร์เฟซของระบบปฏิบัติการโดยตรง แม้ว่าผู้ช่วยสนทนาจะสามารถประมวลผลข้อความ วิเคราะห์เอกสาร และสร้างโค้ดได้ แต่ก็ไม่สามารถนำทางในแอปเนทีฟของบุคคลที่สาม ดำเนินการโลจิสติกส์หลายขั้นตอน หรือประสานเวิร์กโฟลว์เดสก์ท็อปที่ซับซ้อนได้อย่างอิสระโดยไม่มีการบูรณาการ API ที่มีโครงสร้าง

เพื่อจัดการกับขอบเขตอินเทอร์เฟซเหล่านี้ Qwen-UI-Agent จึงปฏิบัติต่อหน้าจอ digiทัลเสมือนรันไทม์การปฏิบัติงานแบบรวม การผสมผสานการระบุตำแหน่งภาพเข้ากับการตัดสินใจตามลำดับทำให้โมเดลตีความเค้าโครงอินเทอร์เฟซบน Android, Windows, macOS และเว็บเบราว์เซอร์ได้ การออกแบบระบบและเมตริกการประเมินได้รับการบันทึกไว้ใน รายงานทางเทคนิคอย่างเป็นทางการ

ความสำคัญของ Qwen-UI-Agent อยู่ที่การเน้นย้ำการปฏิบัติงานบนอุปกรณ์จริง ทีมงานได้สร้างสภาพแวดล้อมอุปกรณ์จริงของสมาร์ทโฟนทางกายภาพกว่า 100 เครื่อง ครอบคลุมกว่า 150 แอปพลิเคชันสำหรับการสร้างงาน การรวบรวมเส้นทาง การฝึกอบรม และการประเมิน เพื่อวัดประสิทธิภาพในโลกแห่งความเป็นจริง นักวิจัยได้เปิดตัวเกณฑ์มาตรฐาน MobileWorld-Real ซึ่งประกอบด้วยงานบนอุปกรณ์จริงกว่า 400 งานในกว่า 100 แอปพลิเคชัน ชุดเกณฑ์มาตรฐานมีรายละเอียดอยู่ใน เอกสารโครงการ MobileWorld ทีมงานยังคงรักษาวัสดุโครงการอย่างเป็นทางการและทรัพยากรโค้ดผ่าน พื้นที่เก็บข้อมูลอย่างเป็นทางการของ Qwen-UI-Agent / MAI-UI พร้อมเดโมเพิ่มเติมที่โฮสต์บน หน้าโครงการอย่างเป็นทางการของ Qwen-UI-Agent

การทำงานร่วมกันของ GUI, CLI และการกระทำแบบกลุ่ม

การใช้งานสภาพแวดล้อมคอมพิวเตอร์และมือถือสมัยใหม่ต้องอาศัยมากกว่าการแมปพิกัดตัวชี้แบบแยกส่วน เมื่อดำเนินการเวิร์กโฟลว์หลายขั้นตอน เอเจนต์จะต้องประเมินสถานะแอปพลิเคชัน คำนึงถึงการเปลี่ยนแปลงการเรนเดอร์ UI แบบไดนามิก และจัดการกับการเปลี่ยนผ่านอินเทอร์เฟซที่มีความหน่วงสูง เพื่อขยายประสิทธิภาพการดำเนินงาน Qwen-UI-Agent จึงแนะนำพื้นที่การทำงานแบบรวมที่ผสมผสานการทำงานของตัวชี้ GUI เข้ากับการทำงานของอินเทอร์เฟซบรรทัดคำสั่ง (CLI) โดยตรง

ในสภาพแวดล้อมคอมพิวเตอร์เดสก์ท็อป คำสั่ง CLI และการคลิก GUI ปรากฏเป็นประเภทการกระทำหลักสองประเภท โมเดลสามารถส่งการกระทำหลายรายการในการอนุมานรอบเดียว โดยประมาณ 40% ของผลลัพธ์การกระทำถูกจัดโครงสร้างเป็นคำสั่งแบบกลุ่ม

การไหลของการกระทำแบบไฮบริด

แผนภาพด้านล่างแสดงให้เห็นว่าอินพุตภาพส่งผ่านไปยังพื้นที่การทำงานแบบรวมอย่างไร:

[Screen Vision Input]
        │
        ▼
[Qwen-UI-Agent Model] (Direct layout parsing & grounding)
        │
  ┌─────┴────────────────────────┐
  ▼                              ▼
[GUI Operations] (Click, Drag)  [CLI Operations] (Bash Commands)
  └─────┬────────────────────────┘
        ▼
[Batched Execution] (Multiple actions emitted per model turn)

ด้วยการสลับการทำงานของ GUI เข้ากับการดำเนินการ CLI เอเจนต์จะทำเวิร์กโฟลว์ที่ปกติแล้วต้องสลับระหว่างหน้าต่างแยกต่างหากให้เสร็จสิ้น ในงานข้ามอุปกรณ์ เอเจนต์สามารถวิเคราะห์เมทาเดตาระบบภาพจากหน้าจอมือถือและรันคำสั่งเทอร์มินัลเพื่อจัดระเบียบไดเรกทอรีในเครื่องหรือจัดการระบบไฟล์ได้โดยตรง

เหตุใดโทรศัพท์จริง 100 เครื่องจึงมีความสำคัญมากกว่าแซนด์บ็อกซ์จำลอง

การประเมินเอเจนต์ GUI แบบหลายรูปแบบในโปรแกรมจำลองสังเคราะห์มักจะสร้างช่องว่างระหว่างการจำลองและความจริง (sim-to-real gap) สภาพแวดล้อมสังเคราะห์และแซนด์บ็อกซ์ช่วยให้มีเงื่อนไขการประเมินที่ปรับขนาดได้และทำซ้ำได้ แต่ไม่สามารถจำลองสถานะแอปพลิเคชันที่เปลี่ยนแปลง เงื่อนไขบัญชี เครือข่าย และความล้มเหลวในการโต้ตอบที่พบในอุปกรณ์จริงได้อย่างเต็มที่ เมื่อปรับใช้บนฮาร์ดแวร์จริง เอเจนต์มักจะต้องเผชิญกับความล่าช้าของแอนิเมชันที่คาดเดาไม่ได้ การแจ้งเตือนแบบพุชในพื้นหลัง หรือการเชื่อมต่อเซลลูลาร์ที่ผันผวน

เพื่อปิดช่องว่างนี้ไปป์ไลน์การพัฒนาจึงรวมเอาชุดทดสอบมือถือทางกายภาพของสมาร์ทโฟนกว่า 100 เครื่องที่ใช้แอปพลิเคชันมากกว่า 150 แอปพลิเคชัน โครงสร้างพื้นฐานนี้จับความหน่วงของอุปกรณ์จริง ความแตกต่างของการเรนเดอร์ และกรณีขอบเขตเครือข่ายระหว่างการฝึกอบรมและการประเมิน

เกณฑ์มาตรฐาน MobileWorld-Real ที่ได้ถูกออกแบบมาเพื่อเปิดเผยข้อผิดพลาดที่อาจซ่อนอยู่โดยสภาพแวดล้อมจำลอง และเพื่อประเมินประสิทธิภาพภายใต้เงื่อนไขอุปกรณ์จริง การตั้งค่านี้เน้นย้ำถึงคุณค่าของการตรวจสอบโมเดลเทียบกับพฤติกรรมของระบบปฏิบัติการบนอุปกรณ์จริง

การเรียนรู้เสริมแรงออนไลน์ (Online RL) ขยายขนาดงาน GUI ระยะยาวได้อย่างไร

การดำเนินการเวิร์กโฟลว์หลายแอปที่ซับซ้อนต้องอาศัยการวางแผนอย่างต่อเนื่องตลอดลำดับที่ยาวนาน งานที่ซับซ้อน เช่น การตรวจสอบใบเสร็จค่าใช้จ่ายในแกลเลอรีมือถือ การสร้างสเปรดชีตบนเดสก์ท็อป และการซิงค์ไฟล์ไปยังพื้นที่เก็บข้อมูลคลาวด์ระยะไกล มักกำหนดให้เอเจนต์ต้องดำเนินการเส้นทางที่เกิน 100 ขั้นตอน ในการดำเนินการระยะยาว ข้อผิดพลาดในการวางตำแหน่งตั้งแต่เนิ่นๆ อาจทำให้ขั้นตอนปลายน้ำล้มเหลวได้

เพื่อปรับปรุงความสมบูรณ์ของเส้นทาง ไปป์ไลน์การฝึกอบรมจึงใช้การเรียนรู้เสริมแรงออนไลน์ (RL) ที่สามารถปรับขนาดได้ ระบบจะเรียกใช้การเปิดตัวในสภาพแวดล้อมคู่ขนานประมาณ 10,000 สภาพแวดล้อมพร้อมกันเพื่อเร่งการสร้างข้อมูล

กรอบการทำงานของการฝึกอบรมผสมผสานฟลายวีลข้อมูลสไตล์ AutoResearch ซึ่งเอเจนต์สร้างงาน สร้างสภาพแวดล้อมการตรวจสอบ วินิจฉัยข้อผิดพลาดในการดำเนินการ และวางแผนการทำซ้ำการฝึกอบรมครั้งต่อไป ลูปอัตโนมัตินี้ช่วยลดค่าใช้จ่ายด้านวิศวกรรมด้วยตนเอง พร้อมทั้งขยายความครอบคลุมในการแก้ปัญหาของโมเดลอย่างต่อเนื่อง

ความปลอดภัยและการควบคุมของมนุษย์ในการกระทำที่มีผลตามมา

การมอบสิทธิ์ให้เอเจนต์ควบคุมอินเทอร์เฟซภาพและบรรทัดคำสั่งโดยตรงนั้นสร้างความเสี่ยงด้านความปลอดภัยในการปฏิบัติงาน ซึ่งแตกต่างจากอินเทอร์เฟซการสนทนาที่เป็นข้อความเท่านั้น เอเจนต์ GUI ที่โต้ตอบกับฟิลด์อินพุตและการควบคุมระบบสามารถทริกเกอร์การดำเนินการที่ไม่สามารถย้อนกลับได้ เช่น การทำธุรกรรมทางการเงิน การแก้ไขการกำหนดค่าระบบ หรือการลบไฟล์

เพื่อจัดการกับความเสี่ยง พื้นที่การทำงานของ Qwen-UI-Agent จึงรวมกลไก ask_user ไว้ด้วย การออกแบบนี้ช่วยให้เอเจนต์สามารถหยุดการทำงานชั่วคราวและขอการยืนยันที่ชัดเจนจากผู้ใช้ก่อนดำเนินการต่อด้วยการกระทำที่ละเอียดอ่อนหรือมีผลตามมา เช่น การอนุมัติการชำระเงิน การให้สิทธิ์ หรือการลบบันทึก

เมื่อเอเจนต์ตรวจพบเวิร์กโฟลว์ที่ละเอียดอ่อน มันจะแสดงลำดับที่วางแผนไว้และส่งมอบการควบคุมกลับคืนให้ผู้ใช้ กลไกมนุษย์ในวงจรนี้ช่วยให้มั่นใจได้ว่าผู้ปฏิบัติงานจะยังคงรักษาการควบคุมดูแลการตัดสินใจที่สำคัญ ผู้เขียนตั้งข้อสังเกตว่าการพัฒนาเกณฑ์มาตรฐานความปลอดภัยที่เป็นระบบมากขึ้นและวัตถุประสงค์การตรวจสอบอย่างเป็นทางการยังคงเป็นพื้นที่วิจัยอย่างต่อเนื่อง

สิ่งที่นักพัฒนาจำเป็นต้องรู้ก่อนปรับใช้เอเจนต์ GUI

การปรับใช้สถาปัตยกรรม Alibaba Qwen UI Agent ในสภาพแวดล้อมจริงจำเป็นต้องมีการประเมินขอบเขตความปลอดภัย ความน่าเชื่อถือในการดำเนินการ และการตรวจสอบโครงสร้างพื้นฐาน เนื่องจากเอเจนต์รากฐานภาพโต้ตอบโดยตรงกับอินเทอร์เฟซแบบกราฟิกข้ามแอปพลิเคชันโดยไม่ต้องอาศัย API เฉพาะของแต่ละแอป นักพัฒนาจึงต้องสร้างการป้องกันระดับระบบ

ประการแรก ทีมวิศวกรรมต้องกำหนดขอบเขตสิทธิ์ เมื่อเอเจนต์ได้รับอนุญาตให้รันคำสั่งเทอร์มินัล การดำเนินการจะต้องเกิดขึ้นในรันไทม์แบบแซนด์บ็อกซ์และไม่มีสิทธิ์สูง เพื่อป้องกันไม่ให้นำ 7เนื้อหาภาพที่ไม่น่าเชื่อถือมากระตุ้นการรันเชลล์ที่ไม่ได้รับอนุญาตบนระบบโฮสต์

ประการที่สอง ทีมงานต้องใช้การกู้คืนข้อผิดพลาดตามสถานะ เนื่องจากแอปพลิเคชันในโลกแห่งความเป็นจริงประสบปัญหาความล่าช้าในการเรนเดอร์และการเปลี่ยนแปลงอินเทอร์เฟซ เลเยอร์ตัวยึดเอเจนต์จึงต้องตรวจสอบความสมบูรณ์ของการดำเนินการ ตรวจจับเวิร์กโฟลว์ที่หยุดชะงัก และรองรับกลไกการย้อนกลับเพื่อรักษาความสมบูรณ์ของธุรกรรม

การจัดการการส่งต่อบริบทข้ามขอบเขตแอปพลิเคชัน

เวิร์กโฟลว์หลายแอปพลิเคชันที่สาธิตใน Qwen-UI-Agent ยังสะท้อนถึงความท้าทายในการออกแบบผลิตภัณฑ์ที่กว้างขึ้นด้วย นั่นคือ บริบทของงานจำเป็นต้องอยู่รอดผ่านการเปลี่ยนผ่านระหว่างแอปพลิเคชันอิสระและสภาพแวดล้อมการดำเนินการมากขึ้นเรื่อยๆ ในรันไทม์ของเอเจนต์ ความต่อเนื่องนี้จะถูกรักษาไว้ผ่านประวัติการโต้ตอบและเลเยอร์ตัวยึดที่รักษาบริบทและสถานะของงานข้ามแอปพลิเคชันที่ติดตั้งไว้ล่วงหน้า อุปกรณ์ และสภาพแวดล้อมการดำเนินการ

การจัดจำหน่ายแอปมือถือแนะนำปัญหาทางสถาปัตยกรรมที่ใกล้เคียงกัน เมื่อเอเจนต์หรือเส้นทางของผู้ใช้ชี้ไปยังแอปพลิเคชันที่ยังไม่ได้ติดตั้งบนอุปกรณ์ ในสถานการณ์เหล่านั้น การส่งต่อบริบทในแอปตามปกติจะถูกขัดจังหวะด้วยขอบเขตการติดตั้งของแอปสโตร์ สถาปัตยกรรมการเชื่อมโยงมือถือเฉพาะทาง เช่น OpoInstall แก้ไขปัญหานี้โดยการจัดเตรียมความสามารถด้าน deferred deep linking และ parameter pass-through ที่ออกแบบมาเพื่อคืนค่าแคมเปญ ปลายทาง หรือพารามิเตอร์การแนะนำที่มีสิทธิ์เมื่อเปิดใช้งานแอปหลังการติดตั้งครั้งแรก กลไกทั้งสองแก้ปัญหาทางเทคนิคที่แตกต่างกันในขั้นตอนวงจรชีวิตที่ต่างกัน แต่ทั้งคู่เน้นย้ำถึงความต้องการที่เพิ่มขึ้นสำหรับความต่อเนื่องของบริบทที่เชื่อถือได้ข้ามขอบเขตแอปพลิเคชันที่กระจัดกระจาย

ประเด็นสำคัญสำหรับทีมวิศวกรรม

การเปลี่ยนผ่านของ AI แบบหลายรูปแบบไปสู่เอเจนต์ GUI รากฐานถือเป็นการเปลี่ยนแปลงจากการประเมินพรอมต์แบบคงที่ไปสู่การดำเนินการบนอุปกรณ์จริงข้ามระบบปฏิบัติการ เมื่อเอเจนต์มีความสามารถในการสลับการคลิกภาพเข้ากับคำสั่งบรรทัดคำสั่ง สถาปัตยกรรมซอฟต์แวร์จึงต้องปรับตัวเพื่อรองรับกระแสการโต้ตอบแบบอัตโนมัติระยะยาว

ทีมวิศวกรรมที่เตรียมพร้อมปรับใช้เอเจนต์ GUI ควรถือว่าความน่าเชื่อถือระดับระบบมีความสำคัญเหนือกว่าเมตริกเกณฑ์มาตรฐานดิบ การสร้างการปรับใช้ที่มีความยืดหยุ่นต้องอาศัยการสร้างตัวยึดเอเจนต์ที่แข็งแกร่ง การกำหนดขอบเขตสิทธิ์แบบจำกัดสิทธิ์ (least-privilege) การใช้กลไกการย้อนกลับธุรกรรม และการบูรณาการการยืนยันโดยมนุษย์ในวงจร (ask_user) สำหรับการกระทำที่มีผลตามมา ด้วยการออกแบบให้สอดคล้องกับความไม่เสถียรของสภาพแวดล้อมและการจัดการสถานะ องค์กรต่างๆ จึงสามารถปรับใช้เอเจนต์ GUI รากฐานพร้อมกับการป้องกันการดำเนินงานที่แข็งแกร่งยิ่งขึ้น

ข้อมูลอ้างอิง

• Zhou et al. Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents. https://arxiv.org/abs/2607.28227

• Kong et al. MobileWorld: Benchmarking Autonomous Mobile Agents in Agent-User Interactive and MCP-Augmented Environments. https://tongyi-mai.github.io/MobileWorld/

• Tongyi-MAI Team. Qwen-UI-Agent / MAI-UI Official Repository. https://github.com/Tongyi-MAI/MAI-UI

• MAI-UI Team. Qwen-UI-Agent Official Project Page. https://tongyi-mai.github.io/Qwen-UI-Agent/

• OpoInstall. How to Implement a Referral Tracking SDK with Deferred Deep Linking and Install Attribution. https://www.opoinstall.com/blog/referral-tracking-sdk-deferred-deep-linking