Etched Menghantar Rak Inferens Pertama Ketika Penilaian Melonjak kepada $21B

Adakah Etched telah mula menghantar perkakasan inferens AInya? Syarikat permulaan tersebut menyatakan bahawa ia telah menyerahkan rak pertamanya kepada Jane Street sambil mengumpul $700 juta pada penilaian $21 bilion. Apabila beban kerja inferens berskala, lebar jalur memori, latensi sambungan, bekalan kuasa, dan penggunaan pengkomputeran yang berterusan boleh menjadi sama pentingnya dengan daya pemprosesan aritmetik puncak. Unit pemprosesan grafik (GPU) tradisional direka bentuk untuk menangani beban kerja yang sangat selari. Walau bagaimanapun, penjanaan autoregresif berulang kali memindahkan wajaran model, data tembolok KV, dan keadaan pertengahan melalui hierarki memori, dengan corak akses yang berbeza mengikut seni bina model dan konfigurasi penyajian.

Mengapa Rak Pertama Etched Penting untuk Ekonomi Inferens AI

Secara Ringkas

Etched menyelesaikan pusingan pembiayaan sebanyak $700 juta yang diterajui oleh Jane Street, menggandakan penilaian atas kertasnya kepada $21 bilion dalam masa satu bulan sahaja.
Syarikat itu menghantar rak inferens pertamanya kepada Jane Street, menandakan pencapaian penting apabila gergasi perdagangan kuantitatif itu mula menggunakan perkakasan tersebut dalam beban kerjanya.
Etched telah mendapatkan lebih $1 bilion dalam kontrak pelanggan merentasi syarikat AI awam dan swasta, memberikan isyarat awal tentang permintaan pelanggan.

Pertumbuhan pesat AI generatif telah meningkatkan permintaan untuk infrastruktur pengkomputeran berprestasi tinggi. Semasa era latihan awal, unit pemprosesan grafik standard sangat berkesan kerana latihan model bergantung pada pengiraan belakang (backpropagation) yang berterusan. Beban kerja latihan selalunya boleh mendedahkan lebih banyak selarian aritmetik berbanding penyahkodan autoregresif, menjadikan GPU amat sesuai untuk pengkomputeran matriks berskala besar.

Walau bagaimanapun, apabila aplikasi beralih kepada era inferens, keperluan kejuruteraan telah berubah. Tidak seperti latihan, inferens tidak mengemas kini wajaran model secara berulang; prestasi penyajian sebaliknya sangat bergantung pada pemindahan dan pemprosesan keadaan model dengan cekap di bawah kekangan latensi dan daya pemprosesan. Bergantung pada ciri beban kerja, lebar jalur memori dan latensi sambungan boleh meninggalkan sumber pengkomputeran tanpa digunakan sepenuhnya walaupun daya pemprosesan aritmetik puncak adalah tinggi. Etched berhujah rằng daya pemprosesan inferens yang berterusan pada pecut زي AI sedia ada boleh kekal jauh di bawah FLOP puncak kerana kekangan haba, memori, dan sambungan mengehadkan penggunaan.

Kluster inferens frontier yang direka untuk menjadikan inferens AI berskala besar lebih pantas dan murah

Kekangan ini membantu menjelaskan sebab perkakasan inferens khusus menarik pelaburan. Etched sedang meneruskan sistem inferens yang direka bersama secara menegak merangkumi silikon, rak, memori, sambungan, perisian, dan pembuatan. Walaupun syarikat itu asalnya dikaitkan dengan reka bentuk silikon khusus Transformer, sistem semasanya direka bentuk untuk menyokong pelbagai seni bina model frontier yang lebih luas, termasuk model campuran pakar (MoE) dan, menurut eksekutif syarikat, seni bina bukan Transformer seperti Mamba. Dengan merekabentuk keseluruhan bertindih pelaksanaan (execution stack) bersama-sama, perkakasan tersuai ini bertujuan untuk mengurangkan overhed pelaksanaan. Pertukaran kos dan faedah adalah jelas: perkakasan tersuai secara amnya kurang fleksibel berbanding platform GPU serba guna untuk beban kerja di luar domain inferens sasaran mereka. Penerapan Jane Street memberikan isyarat awal tentang keyakinan pelanggan terhadap seni bina Etched, walaupun data awam belum lagi menetapkan prestasi skala pengeluarannya atau kelebihan kos berbanding sistem GPU terkemuka, seperti yang dibincangkan dalam laporan TechCrunch mengenai pusingan pembiayaan tersebut.

Mekanisme di Sebalik Tabir: Inferens Voltan Rendah dan Memori Skala Kluster

Pada skala rak, subsistem memori dan sambungan skala naik boleh mengehadkan seberapa cepat keadaan model bergerak antara sumber memori dan pengkomputeran. Apabila aplikasi melaksanakan panggilan inferens, pemproses mesti membaca data dari memori, melengkapkan operasi, dan menulis semula output. Dalam konfigurasi standard, pemindahan ini boleh memperkenalkan tekanan latensi dan lebar jalur merentas hierarki memori dan sambungan skala naik.

Untuk menangani kesesakan inferens ini, Etched menggabungkan dua pendekatan seni bina yang saling melengkapkan untuk beban kerja berdaya pemprosesan tinggi dan latensi rendah:

Inferens Voltan Rendah (LVI) dan Memori Skala Kluster (CSM)

Inferens Voltan Rendah (LVI): Etched meletakkan LVI terutamanya sekitar inferens berdaya pemprosesan tinggi dan menghuraikannya dalam konteks beban kerja yang berat pada prafill. Etched menyatakan bahawa blok matematik voltan lebih rendah membenarkan ketumpatan pengkomputeran yang jauh lebih tinggi dalam amplop kuasa dan haba yang tersedia, sambil mengurangkan pendedahan kepada kekangan kuasa dan haba.
Memori Skala Kluster (CSM): CSM menyasarkan akses memori latensi rendah dan direka bentuk untuk menangani kesesakan penyahkodan. Etched berhujah bahawa sistem AI berasaskan HBM hari ini sukar untuk mencapai latensi penyahkodan peringkat SRAM kerana kesesakan subsistem memori dan sambungan. CSM menangani perkara ini dengan menyambungkan berbilang cip melalui sambungan jalur lebar proprietari, mewujudkan kolam memori berkongsi berlatensi rendah merentas domain skala naik.

Pemetaan ringkas berdasarkan penerangan Etched mengenai beban kerja prafill dan penyahkodan boleh diwakili sebagai:

[Beban Kerja Berdaya Pemprosesan Tinggi / Berat Prafill]
                     │
                     ▼
       [Inferens Voltan Rendah — LVI]


[Beban Kerja Berlatensi Rendah / Berat Penyahkodan]
                     │
                     ▼
       [Memori Skala Kluster — CSM]

Dengan merekabentuk pengkomputeran, memori, dan sambungan bersama-sama, Etched bertujuan untuk meningkatkan penggunaan inferens yang berterusan. Secara bersama, pendekatan ini menyasarkan kekangan pengkomputeran, memori, dan sambungan yang berbeza merentas beban kerja inferens.

Seni bina papan induk dan susun atur wafer silikon yang direka untuk pemprosesan rangkaian neural terpecut

ASIC Khusus lwn. GPU Serba Guna: Menilai Pertukaran Pengkhususan

Apabila persekitaran pengkomputeran moden beralih kepada platform perkakasan alternatif, pembangun mesti menilai semula cara mereka menguruskan bertindih pelaksanaan dan beban kerja pengkomputeran. Peralihan daripada GPU serba guna kepada litar bersepadu khusus aplikasi (ASIC) mewakili pilihan strategik asas. Pasukan kejuruteraan mesti menimbang potensi kelebihan kecekapan perkakasan khusus berbanding risiko sistemik penguncian perisian dan batasan seni bina yang tegar.

Penilaian Seni Bina: ASIC Tersuai lwn. GPU Serba Guna

Membangunkan ASIC memerlukan sumber kejuruteraan pendahuluan yang besar, perjanjian pembuatan jangka panjang, dan profil beban kerja yang stabil serta boleh diramal. Pendekatan ini boleh meningkatkan kecekapan prestasi-per-token dan kos apabila ciri beban kerja sejajar rapat dengan perkakasan, tetapi mengehadkan keupayaan platform untuk menyesuaikan diri jika seni bina rangkaian neural asas mengalami perubahan paradigma secara tiba-tiba. Sebaliknya, GPU mendapat manfaat daripada ekosistem perisian yang matang dan secara amnya menawarkan fleksibiliti yang lebih besar apabila seni bina model berkembang, walaupun ASIC khusus beban kerja mungkin menawarkan kecekapan yang lebih kukuh apabila beban kerja tersebut sepadan rapat dengan seni bina mereka.

Jadual di bawah menggariskan pertukaran teras antara ASIC khusus dan GPU serba guna:

Dimensi	ASIC Khusus	GPU Serba Guna
Fleksibiliti Beban Kerja	Lebih Rendah	Lebih Tinggi
Ekosistem Perisian	Lebih khusus	Matang (cth. CUDA)
Pengoptimuman Inferens	Potensi tinggi	Luas/umum
Risiko Kepekatan Pemasangan	Bergantung pada beban kerja/vendor yang lebih tinggi	Ekosistem yang lebih luas tetapi masih bergantung pada vendor
Ekonomi Skala	Bergantung pada kesesuaian dan penggunaan beban kerja	Telah mapan
Fleksibiliti Naik Taraf	Lebih Rendah	Lebih Tinggi

Menilai pertukaran perkakasan ini adalah penting apabila organisasi meningkatkan skala kluster penerapan aktif mereka. Walaupun GPU serba guna kekal sebagai pilihan utama untuk penyelidikan standard dan eksperimen berbilang model, ASIC khusus semakin menarik untuk beban kerja pengeluaran volum tinggi dan berdefinisi jelas di mana meminimumkan latensi adalah objektif operasi utama.

Senarai Semak Integrasi: Bagaimana Pasukan Kejuruteraan Bersedia untuk Reka Bentuk Bersama Perkakasan-Perisian

Untuk mengekalkan kestabilan pelaksanaan dan prestasi yang boleh diramal apabila pusat data mengguna pakai perkakasan inferens khusus, pasukan kejuruteraan dan produk mesti mengguna pakai alur kerja reka bentuk bersama yang mantap.

Senarai Semak Pembangunan Pembangun

Profil Keperluan Memori Model dan Tembolok KV: Ukur wajaran model, pertumbuhan tembolok KV, memori pengaktifan, dan kepekaan saiz kelompok di bawah trafik pengeluaran.
Nilai Keserasian Seni Bina Model: Sahkan bahawa rangkaian neural pengeluaran anda sejajar dengan operator matematik peringkat perkakasan yang disokong oleh ASIC.
Penanda Aras Latensi Pelaksanaan Teras: Profil peringkat prafill dan penyahkodan secara berasingan di bawah taburan kelompok yang realistik untuk mengenal pasti potensi kesesakan saluran paip.

Senarai Semak Produk & Strategi

Nilai Kestabilan Beban Kerja Sebelum Pengkhususan Perkakasan: Tentukan sejauh mana kekerapan seni bina model pengeluaran berubah sebelum komited kepada perkakasan yang lebih khusus.
Audit Ekonomi Inferens: Tanda aras daya pemprosesan setiap dolar dan setiap watt untuk menjustifikasikan kos peralihan mengguna pakai bertindih perkakasan khusus.
Sahkan Kebolehtersenaian Sistem: Pastikan rancangan penerapan perkakasan anda mengambil kira masa pendahuluan bahan mentah dan kekangan bekalan pembungkusan lanjutan.

Dengan mewujudkan garis panduan berstruktur ini, pasukan pembangunan boleh beralih aplikasi mereka kepada penerapan inferens yang lebih boleh dipercayai dan cekap sambil mengekalkan kesinambungan operasi.

Soalan Lazim (FAQ)

Bilakah ASIC inferens khusus boleh mengatasi prestasi GPU serba guna?

Pecut khusus boleh meningkatkan kecekapan apabila senibinanya sepadan rapat dengan beban kerja yang stabil. GPU mengekalkan kelebihan dalam kebolehaturcaraan, kematangan ekosistem perisian, dan sokongan untuk beban kerja atau seni bina model yang kerap berubah.

Bagaimanakah Inferens Voltan Rendah dan Memori Skala Kluster menyelesaikan kesesakan prafill dan penyahkodan?

Inferens Voltan Rendah memproses fasa prafill pada voltan yang lebih rendah, meningkatkan ketumpatan pengkomputeran dalam had haba standard. Memori Skala Kluster menangani kesesakan penyahkodan dengan menyambungkan berbilang cip melalui sambungan jalur lebar tinggi, mewujudkan kolam memori berkongsi berlatensi rendah yang mengoptimumkan kecekapan akses memori semasa penjanaan token.

Apakah risiko perniagaan terbesar dalam mengguna pakai perkakasan inferens khusus?

Sistem khusus boleh meningkatkan ekonomi apabila beban kerja memadankan seni bina, tetapi pembeli menanggung risiko kepekatan vendor, mudah alih perisian, rantaian bekalan, dan evolusi beban kerja. GPU mengekalkan kelebihan dalam kematangan ekosistem dan kebolehaturcaraan yang luas.

Intipati Utama untuk Pasukan Kejuruteraan

Penghantaran rak pertama Etched memberikan syarikat sesuatu yang tidak dimiliki oleh penilaian $21 bilion sebelum ini: penerapan pelanggan sebenar. Penerapan awal Jane Street dan lebih daripada $1 bilion dalam kontrak yang dilaporkan mengukuhkan kes permintaan, tetapi kontrak dan ujian awal tidak sama dengan ekonomi berskala besar yang terbukti.

Taruhan teknikal adalah lebih luas daripada satu cip tunggal. Etched sedang merekabentuk silikon, memori, sambungan, rak, dan perisian di sekeliling beban kerja inferens, menggunakan LVI untuk operasi berdaya pemprosesan tinggi dan CSM untuk akses memori latensi rendah. Bagi pembeli, persoalan utama ialah sama ada keuntungan kecekapan tersebut dapat mengatasi fleksibiliti, kematangan ekosistem, daya tahan rantaian bekalan, dan laluan naik taraf yang ditawarkan oleh GPU serba guna.