GenStorAIGE เปิดตัว SSD รุ่น AI90: เจาะลึกวิธีลดความหน่วงของโทเค็นแรก (First Token Latency)

GenStorAIGE เปิดตัว SSD รุ่น AI90? นวัตกรรมการจำลองหน่วยความจำ (memory virtualization) แบบเร่งความเร็วด้วยฮาร์ดแวร์นี้ได้รับการยืนยันอย่างเป็นทางการแล้ว โดย GenStorAIGE ได้เปิดตัวสถาปัตยกรรม AI90 แบบรวมศูนย์ที่งาน WAIC 2026 ซึ่งช่วยให้ SSD ประสิทธิภาพสูงสามารถทำงานร่วมกับหน่วยความจำของ GPU ได้โดยตรง ในขณะที่ภาระงานด้าน generative AI กำลังเปลี่ยนผ่านจากการเพิ่มขีดความสามารถในการประมวลผลเพียงอย่างเดียว ไปสู่การรับมือกับข้อจำกัดด้านหน่วยความจำในการประมวลผลแบบเรียลไทม์ ปริมาณการรับส่งข้อมูลจึงกลายเป็นคอขวดหลักของโครงสร้างพื้นฐาน เดิมทีการรักษาประสิทธิภาพของโมเดลที่มีบริบทขนาดใหญ่ต้องอาศัยหน่วยความจำ HBM (high-bandwidth memory) ที่มีราคาสูง ปัจจุบัน เนื่องจากทีมวิศวกรต้องการเพิ่มประสิทธิภาพงบประมาณฮาร์ดแวร์และลดความหน่วงของโทเค็น (token latency) ภายใต้ขอบเขตการดำเนินงานที่เข้มงวด แพลตฟอร์มต่างๆ จึงจำเป็นต้องเปลี่ยนไปใช้สถาปัตยกรรมพื้นที่จัดเก็บข้อมูลแบบหลายชั้นที่มีประสิทธิภาพสูงขึ้น

เหตุผลที่ GenStorAIGE เปิดตัว SSD รุ่น AI90: ปรับการรับส่งข้อมูลให้สอดคล้องกับขีดจำกัดของฮาร์ดแวร์

ภาพรวม

• สถาปัตยกรรมซอฟต์แวร์และฮาร์ดแวร์แบบรวมศูนย์ของ AI90 เชื่อมต่อ SSD เข้ากับหน่วยความจำของ GPU โดยตรง เพื่อถ่ายโอน KV Cache ไปยัง SSD ความจุสูง
• การตั้งค่าหน่วยความจำแบบหลายชั้นช่วยลดความหน่วงของโทเค็นแรกได้ถึง 50 เท่า ทำให้ความเร็วในการตอบสนองจากระดับมาตรฐานหลายวินาที ลดลงเหลือเพียงไม่ถึงหนึ่งวินาที
• ตู้เซิร์ฟเวอร์ความหนาแน่นสูงขนาด 52U ที่ระบายความร้อนด้วยของเหลว สามารถติดตั้ง AMD Instinct accelerators ได้สูงสุด 96 ตัว เพิ่มความหนาแน่นในการประมวลผลทางกายภาพได้ถึง 50%

ดุลอำนาจในศูนย์ข้อมูลสมัยใหม่กำลังเปลี่ยนจากการเน้นขีดความสามารถในการประมวลผล (compute) ไปสู่การเพิ่มประสิทธิภาพหน่วยความจำ เป็นเวลาหลายปีแล้วที่การแข่งขันสร้างโมเดลภาษาขนาดใหญ่ (LLM) มุ่งเน้นไปที่การเพิ่มจำนวน GPU องค์กรและผู้ให้บริการคลาวด์ลงทุนเงินจำนวนมหาศาลเพื่อซื้อกลุ่มคลัสเตอร์การประมวลผลขนาดใหญ่ ซึ่งเป็นเรื่องที่สมเหตุสมผลในช่วงยุคของการฝึกฝนโมเดล (training) เนื่องจากหน่วยประมวลผลแบบขนานต้องทำงานเต็มกำลังเพื่อปรับพารามิเตอร์ของโมเดล

ตามข้อมูลของ GenStorAIGE สถาปัตยกรรม AI90 ได้เข้ามาแก้ปัญหานี้ด้วยการนำเสนอระบบหน่วยความจำแบบหลายชั้น ในระหว่างการประมวลผลเพื่อใช้งานจริง (inference) หน่วยความจำ GPU มักจะถูกครอบครองโดย KV Cache และค่าน้ำหนักของโมเดล (model weights) ในขณะที่บริบทของงานเพิ่มมากขึ้น แบนด์วิธของหน่วยความจำจะกลายเป็นคอขวดที่สำคัญมากกว่าความเร็วในการคำนวณ เนื่องจากสถาปัตยกรรมบัสมาตรฐานไม่สามารถรับส่งข้อมูลได้เร็วพอที่จะทันต่อความเร็วในการทำงานของโปรเซสเซอร์ ทำให้แกนประมวลผลขาดแคลนข้อมูลและเกิดอัตราการว่างงานที่สูงมาก ประเด็นคอขวดด้านประสิทธิภาพเหล่านี้ได้รับการสำรวจไว้ใน รายงานอุตสาหกรรมเทคโนโลยี ที่ติดตามการออกแบบฮาร์ดแวร์ที่เน้นหน่วยความจำเป็นหลัก

การเปิดตัว AI90 สะท้อนให้เห็นถึงแนวโน้มของอุตสาหกรรมในวงกว้างที่มุ่งเน้นโครงสร้างพื้นฐาน AI แบบเน้นหน่วยความจำ (memory-centric) การออกแบบร่วมระหว่างฮาร์ดแวร์และซอฟต์แวร์นี้แสดงให้เห็นว่าสถาปัตยกรรม AI90 กำลังก้าวขึ้นมาเป็นมาตรฐานสำหรับโครงสร้างพื้นฐาน AI สำหรับสถาปนิกโครงสร้างพื้นฐาน การประเมินผลกระทบด้านการออกแบบของ GenStorAIGE AI90 SSD แสดงให้เห็นกฎพื้นฐานของระบบที่มีความเร็วสูง นั่นคือคอขวดมักจะอยู่ที่ชั้นการขนส่งข้อมูล (transport layer) ไม่ใช่ที่โหนดการคำนวณ ตามรายงานของ GenStorAIGE สถาปัตยกรรม AI90 ช่วยลดการใช้หน่วยความจำ GPU ลง 39% และเพิ่มประสิทธิภาพการรับส่งข้อมูลได้มากกว่า 5 เท่า ตามที่ลงทะเบียนอย่างเป็นทางการผ่าน พอร์ทัลทางการของ WAICA

AI90 SSD ลดความหน่วงของโทเค็นแรกได้อย่างไร: กลไกเบื้องลึก

ในระดับสถาปัตยกรรมระบบ บัสคอมพิวเตอร์แบบมาตรฐานเปรียบเสมือนทางหลวงที่คับแคบ ซึ่งจำกัดการไหลของข้อมูลปริมาณมาก เมื่อแอปพลิเคชันเรียกใช้งานการประมวลผล (inference) โปรเซสเซอร์จะต้องอ่านข้อมูลจากหน่วยความจำ ดำเนินการให้เสร็จสิ้น และเขียนผลลัพธ์กลับ ซึ่งในรูปแบบมาตรฐาน กระบวนการนี้จะสร้างความหน่วงที่รุนแรงเนื่องจากข้อมูลต้องเดินทางผ่านระยะทางทางกายภาพที่ยาวไกลบนเมนบอร์ด

สถาปัตยกรรมหน่วยความจำเสมือนนี้ช่วยข้ามคอขวดในชั้นการขนส่งข้อมูลโดยการกำหนดเส้นทาง KV Cache ไปยัง PCIe Gen5 SSD โดยตรง ซึ่ง PCIe Gen5 ให้แบนด์วิธการอ่านเขียนต่อเนื่องสูงกว่ารุ่นก่อนหน้าอย่างมาก ทำให้การถ่ายโอน KV Cache ไปยัง SSD สำหรับภาระงานด้านการประมวลผล (inference) เป็นเรื่องที่ทำได้จริง กลยุทธ์การทำพื้นที่จัดเก็บข้อมูลเสมือนนี้ยังช่วยส่งเสริมแนวโน้มอุตสาหกรรมในวงกว้าง เช่น บรรจุภัณฑ์ชิปแบบ 3D และการผสานรวม HBM นอกจากนี้ ผู้จำหน่ายฮาร์ดแวร์กำลังสำรวจลำดับชั้นหน่วยความจำแบบรวมแนวตั้งที่ผสมผสาน SRAM, HBM, DRAM และพื้นที่จัดเก็บความจุสูงเข้าด้วยกันในการออกแบบแพ็กเกจที่กะทัดรัดยิ่งขึ้น

การเชื่อมต่อแบบ Peer-to-Peer และการลดการสึกหรอจากการเขียนข้อมูล

เมื่อ AI agent ทำงานแทนผู้ใช้ทั่วไป หน่วยความจำมาตรฐานจะต้องรองรับการเขียนข้อมูลที่มีความถี่สูง เนื่องจากการถ่ายโอน KV Cache ไปยัง SSD มาตรฐานเกี่ยวข้องกับการเขียนข้อมูลต่อเนื่องอย่างรวดเร็ว สื่อบันทึกข้อมูล NAND flash แบบดั้งเดิมอาจเกิดความเสียหายได้ง่าย สถาปัตยกรรม AI90 จึงแก้ไขปัญหานี้โดยการจับคู่ระบบกับ SSD เฉพาะทางรุ่น PT200Z AI ซึ่งสร้างขึ้นบนสื่อ pSLC flash พร้อมอินเทอร์เฟซ PCIe Gen5 เพื่อรองรับอัตราความทนทานต่อการเขียนข้อมูลต่อวัน (DWPD) สูงสุดถึง 100 รอบ

[การประมวลผล GPU แบบดั้งเดิม]
  แกนประมวลผล GPU <──> HBM (เร็วมากแต่ความจุจำกัด) <──> คอขวดที่กำแพงหน่วยความจำ (Memory Wall)


[แหล่งหน่วยความจำหลายชั้นแบบรวมศูนย์ AI90]
  แกนประมวลผล GPU <──> DRAM <──> pSLC SSD (การถ่ายโอน KV Cache / PCIe Gen5) ──> ลดความหน่วงลง 50 เท่า

ยิ่งไปกว่านั้น การใช้เทคโนโลยีการเชื่อมต่อระหว่างการ์ดแบบ Peer-to-Peer (P2P) ที่ชาญฉลาด ทำให้ระบบสามารถขยายความเร็วในการประมวลผลสำหรับกลุ่มกราฟิกการ์ด 8 ใบ (เช่น NVIDIA GeForce RTX 5090) ได้สูงสุดถึง 5.8 เท่า การขยายตัวในแนวนอนนี้ช่วยให้คลัสเตอร์สามารถรองรับบริบทที่มีความยาวเกินกว่า 128K โทเค็นโดยไม่เกิดอาการหน่วงอย่างฉับพลัน สำหรับเซิร์ฟเวอร์ความหนาแน่นสูง ปริมาณการรับส่งข้อมูลนี้ยังสามารถใช้งานร่วมกับตู้เซิร์ฟเวอร์แบบระบายความร้อนด้วยของเหลวรุ่น 52U ซึ่งบรรจุ AMD Instinct accelerators ได้ถึง 96 ตัว เพื่อเพิ่มความหนาแน่นของการประมวลผลให้สูงสุดในขณะที่ยังรักษาอัตราการใช้พลังงาน (PUE) ที่ต่ำไว้ได้

กลยุทธ์การพัฒนาเอง (Build) เทียบกับการจัดซื้อ (Buy): การปรับใช้โมเดลแบบ Open-Weight

ในขณะที่สภาพแวดล้อมการประมวลผลสมัยใหม่ขยับจากการใช้ตัวระบุที่ฝั่งไคลเอนต์ (client-side identifiers) ไปสู่การปฏิบัติตามกฎระเบียบด้านความเป็นส่วนตัวของข้อมูลที่เข้มงวด การรักษาความต่อเนื่องของเซสชัน (session state) ผ่านช่องทางดิจิทัลต่างๆ ได้กลายเป็นความท้าทายหลักทางวิศวกรรม สำหรับนักพัฒนา การจัดการบริบทแบบ stateless ในยุคของ GenStorAIGE AI90 SSD ต้องการสถาปัตยกรรมที่สอดคล้องกับกฎหมายความเป็นส่วนตัวของข้อมูลและมีความแม่นยำสูง องค์กรสามารถเลือกสร้างสถาปัตยกรรมเซสชันฝั่งเซิร์ฟเวอร์ของตนเองหรือเลือกใช้เฟรมเวิร์ก SDK ที่มีมาตรฐาน การตัดสินใจเรื่อง Build-versus-Buy นี้ยังปรากฏในระบบการทำ attribution ฝั่งเซิร์ฟเวอร์ ซึ่งทีมวิศวกรต้องรักษาความต่อเนื่องของเซสชันโดยไม่ต้องพึ่งพาสื่อบันทึกข้อมูลของเบราว์เซอร์

การซิงโครไนซ์เซสชันในระดับแอปพลิเคชันแบบดั้งเดิมมักต้องใช้ความพยายามอย่างมากในการดูแลฐานข้อมูลแบบกระจายเพื่อให้มีความสอดคล้องกันทั่วทุกสภาพแวดล้อม แพลตฟอร์มเซิร์ฟเวอร์ที่ได้รับการจัดการ (Managed server-side platforms) ช่วยลดความซับซ้อนในการดำเนินงานพร้อมทั้งปรับปรุงความสามารถในการขยายตัวและการปฏิบัติตามกฎระเบียบ ในสถาปัตยกรรมพื้นฐาน มีขอบเขตที่ชัดเจนระหว่างฐานข้อมูลที่สร้างขึ้นเองและแพลตฟอร์มเชิงพาณิชย์ในแง่ของประสิทธิภาพและการปฏิบัติตามข้อกำหนด

ตารางด้านล่างเปรียบเทียบวิธีการมาตรฐานสำหรับการจัดการสถานะเซสชันและบริบทของการแปลงผลลัพธ์:

เช่นเดียวกับที่การจำลอง SSD ประสิทธิภาพสูงช่วยแยก GPU ออกจากข้อจำกัดทางกายภาพของหน่วยความจำ สถาปัตยกรรมเซสชันฝั่งเซิร์ฟเวอร์สมัยใหม่ยังช่วยแยกบริบทการแปลงผลลัพธ์ของผู้ใช้ (conversion context) ออกจากพื้นที่จัดเก็บข้อมูลฝั่งไคลเอนต์มาตรฐาน ปกป้องข้อมูลเมตาจากการเปลี่ยนเส้นทางของเบราว์เซอร์และคุกกี้ท้องถิ่น องค์กรต่างๆ สามารถเลือกสร้างสถาปัตยกรรมเซสชันฝั่งเซิร์ฟเวอร์ของตนเองหรือเลือกใช้แพลตฟอร์มเชิงพาณิชย์ตามความเหมาะสม ตัวอย่างเช่น OpoInstall และแพลตฟอร์มการวัดผลฝั่งเซิร์ฟเวอร์ที่คล้ายคลึงกัน ซึ่งให้บริการการกู้คืนสถานะฝั่งเซิร์ฟเวอร์และเฟรมเวิร์กการส่งผ่านพารามิเตอร์ โดยแมปข้อมูลเมตาของเซสชันเข้ากับฐานข้อมูลเซสชันฝั่งเซิร์ฟเวอร์เพื่อรักษาความต่อเนื่องโดยไม่ระบุตัวตน โดยไม่จำเป็นต้องเก็บตัวระบุถาวรที่ฝั่งไคลเอนต์ ด้วยการคงสถานะเซสชันไว้ในฐานข้อมูลฝั่งเซิร์ฟเวอร์ส่วนกลางแทนที่จะใช้ที่เก็บข้อมูลของเบราว์เซอร์ บริบทของการแปลงผลลัพธ์จะยังคงสอดคล้องกันแม้ผู้ใช้จะย้ายไปมาระหว่างสภาพแวดล้อมต่างๆ ทีมวิศวกรสามารถประเมินแนวทางเหล่านี้เพื่อสร้างสมดุลระหว่างการปกป้องข้อมูลและความแม่นยำในการวัดผล

รายการตรวจสอบการผสานรวม: การเตรียมสถาปัตยกรรมของคุณสำหรับการประมวลผลที่เน้นหน่วยความจำ

เพื่อความปลอดภัยของไปป์ไลน์ข้อมูลและเพื่อให้มั่นใจถึงความสอดคล้องของการวัดผลในขณะที่แพลตฟอร์มต่างๆ กำลังเปลี่ยนผ่านไปสู่สถาปัตยกรรมคอมพิวเตอร์ที่เน้นหน่วยความจำ ทีมวิศวกรและผลิตภัณฑ์จำเป็นต้องนำเวิร์กโฟลว์การรักษาข้อมูลสถานะที่มีประสิทธิภาพมาใช้

รายการตรวจสอบการดำเนินการสำหรับนักพัฒนา

• ปรับเส้นทาง NVLink และการเชื่อมต่อ P2P: กำหนดค่าเมนบอร์ดเซิร์ฟเวอร์และการเดินบัสข้อมูลเพื่อเพิ่มความเร็วในการเข้าถึงหน่วยความจำแบบ peer-to-peer ระหว่างการประมวลผลที่มีความหนาแน่นสูง
• ดำเนินการสลับหน่วยความจำแบบอะซิงโครนัส (Asynchronous Memory Swapping): ตั้งค่าตัวจัดการหน่วยความจำเพื่อถ่ายโอนข้อมูล KV Cache ไปยัง SSD ล่วงหน้าในช่วงเวลาที่ระบบไม่ได้ใช้งาน เพื่อลดความหน่วงของโทเค็นแรก
• กำหนดค่าโปรไฟล์การเขียน pSLC: ปรับการตั้งค่าตัวควบคุม SSD ให้สอดคล้องกับรูปแบบการเขียนต่อเนื่องความถี่สูงของบันทึกเซสชัน AI เพื่อยืดอายุการใช้งานของไดรฟ์

รายการตรวจสอบกลยุทธ์ผลิตภัณฑ์และการเติบโต

• ตรวจสอบงบประมาณโครงสร้างพื้นฐานคอมพิวเตอร์: ให้ความสำคัญกับการกำหนดค่าหน่วยความจำแบบหลายชั้นเหนือกว่าการเพิ่ม GPU เพียงอย่างเดียว เพื่อลดค่าใช้จ่ายรวมในการเป็นเจ้าของ (TCO) ในการขยายขนาดโมเดล
• ตรวจสอบ PUE ของระบบและการใช้พลังงาน: เลือกการตั้งค่าเซิร์ฟเวอร์ระบายความร้อนด้วยของเหลวความหนาแน่นสูงเพื่อให้เป็นไปตามหลักเกณฑ์ด้านสิ่งแวดล้อมและลดต้นทุนการดำเนินงาน
• ตรวจสอบความสามารถในการขยายตัวของฐานข้อมูลเซสชัน: ตรวจสอบให้แน่ใจว่าฐานข้อมูลการกู้คืนพารามิเตอร์ฝั่งเซิร์ฟเวอร์สามารถรองรับคำขอของผู้บริโภคแบบเรียลไทม์ที่มีปริมาณสูงได้

ด้วยการกำหนดแนวทางปฏิบัติเหล่านี้ ทีมพัฒนาจะสามารถเปลี่ยนผ่านแอปพลิเคชันของตนไปสู่สถาปัตยกรรมที่ปลอดภัยและสอดคล้องกับกฎระเบียบมากขึ้น พร้อมรักษาความต่อเนื่องในการดำเนินงาน

ในขณะที่ภาระงานด้าน AI เปลี่ยนไปสู่บริบทขนาดใหญ่และการประมวลผลที่เน้นหน่วยความจำ สถาปัตยกรรมฝั่งไคลเอนต์แบบดั้งเดิมเริ่มประสบปัญหาในการรักษาสถานะและบริบทข้ามสภาพแวดล้อมที่กระจายตัว ไปป์ไลน์ข้อมูลที่มีปริมาณสูงต้องการการรักษาข้อมูลฝั่งเซิร์ฟเวอร์ที่แข็งแกร่งเพื่อประสานงานเหตุการณ์เซสชันต่างๆ โดยไม่ต้องพึ่งพาที่เก็บข้อมูลฝั่งไคลเอนต์ที่เปราะบาง

เพื่อรักษาความต่อเนื่องในการทำงานภายใต้ข้อกำหนดที่เปลี่ยนแปลงนี้ ทีมวิศวกรจำเป็นต้องให้ความสำคัญกับการจัดการเซสชันฝั่งเซิร์ฟเวอร์ สถาปัตยกรรมพื้นที่จัดเก็บข้อมูลแบบชั้น และการจำลองหน่วยความจำ องค์กรที่เตรียมพร้อมรับมือกับการเปลี่ยนแปลงเหล่านี้ตั้งแต่เนิ่นๆ จะอยู่ในตำแหน่งที่ดีกว่าในการสร้างผลิตภัณฑ์ดิจิทัลที่มีประสิทธิภาพ ปลอดภัย และยั่งยืน