Thinking Machines veröffentlicht Inkling? Diese Ankündigung wurde offiziell bestätigt: Thinking Machines Lab hat mit Inkling sein erstes multimodales Open-Weights-Modell vorgestellt, das darauf ausgelegt ist, mit DeepSeek und anderen führenden KI-Systemen zu konkurrieren. Anstatt das Modell als geschlossene kommerzielle API zu vermarkten, legt das Unternehmen den Schwerpunkt auf Anpassungsmöglichkeiten für Unternehmen, Open-Weights-Bereitstellung und niedrigere Betriebskosten für Entwickler. Da Inkling als Apache-2.0-Open-Weights-Modell veröffentlicht wird, können Unternehmensentwickler es nun bereitstellen, modifizieren und feinabstimmen, ohne von proprietären Inferenz-APIs abhängig zu sein.
Warum Thinking Machines Inkling veröffentlicht: Die Herausforderung des Closed-Source-Monopols
Auf einen Blick
- Die neue Firma der ehemaligen OpenAI-CTO Mira Murati, Thinking Machines Lab, hat ihr erstes eigenes KI-Modell namens Inkling unter der Apache-2.0-Open-Weights-Lizenz veröffentlicht.
- Das System ist ein Mixture-of-Experts (MoE)-Transformer mit insgesamt 975 Milliarden Parametern (41 Milliarden davon pro Aufgabe aktiv), trainiert mit 45 Billionen Tokens aus Text, Bild, Audio und Video.
- Im Gegensatz zu Standard-Closed-Source-Modellen ist Inkling als Ausgangspunkt konzipiert, den Unternehmen über die unternehmenseigene Anpassungsplattform Tinker selbst feinabstimmen können.
Die Grenze zwischen zentralisierten Universalmodellen und maßgeschneiderten, fachspezifischen Systemen unterliegt einer starken Entwicklung. In den letzten Jahren haben Unternehmen vermehrt proprietäre APIs mit selbst gehosteten Open-Weights-Implementierungen verglichen. Inkling tritt in diesen Wettbewerb ein, indem es ein Apache-2.0-Modell anbietet, das für die betriebliche Anpassung optimiert ist und nicht für die allgemeine, gehostete Inferenz.
Die Veröffentlichung von Inkling spiegelt einen breiteren Branchentrend hin zu selbst gehosteten Open-Weights-Modellen und der KI-Anpassung in Unternehmen wider. Wenn ein Unternehmen sensible Geschäftsgeheimnisse, Codebasen und Finanzdaten in ein proprietäres Modell einspeist, besteht das Risiko, dass dieses Wissen in zukünftige öffentliche Versionen des Systems einfließt. Für viele große Ingenieurteams stellt die Veröffentlichung von Inkling durch Thinking Machines eine direkte Gelegenheit dar, die Kontrolle über zentrale Softwareabhängigkeiten zurückzugewinnen, wie in der offiziellen Ankündigung von Thinking Machines erläutert wird.
Technische Architektur: Inkling im Vergleich zu DeepSeek
Auf Protokollebene aktivieren standardmäßige dichte Transformer für jedes einzelne Token ihre gesamte Parameter-Suite, was zu hohen Rechenkosten und Latenzen führt. Um diese Engpässe bei der Rechenleistung zu beseitigen, nutzt das neu veröffentlichte Modell ein Mixture-of-Experts (MoE)-Design, ähnlich wie das chinesische Open-Source-Flaggschiff DeepSeek-V3. Jede MoE-Schicht enthält 256 geroutete Experten und 2 gemeinsame Experten, wobei pro Token nur 6 geroutete Experten (etwa 41 Milliarden aktive Parameter) ausgeführt werden. Dadurch kann das System eine riesige Wissensdatenbank von 975 Milliarden Parametern vorhalten und gleichzeitig Inferenzkosten und Latenz gering halten.
Beim Aufmerksamkeitsmechanismus (Attention Mechanism) verschränkt das System Sliding-Window- und globale Schichten in einem 5:1-Verhältnis und verwendet 8 Key-Value (KV)-Heads. Im Gegensatz zu populären Architekturen wie Llama und DeepSeek, die auf Rotary Positional Embedding (RoPE) basieren, implementiert das System relative Positions-Embeddings, die eine überlegene Extrapolationsleistung über lange Kontextsequenzen von bis zu 1 Million Tokens zeigen. Im Gegensatz zu DeepSeek-V3 wird Inkling offiziell unter der Apache-2.0-Lizenz und nicht unter der MIT-Lizenz veröffentlicht, um denselben Enterprise-Open-Weights-Markt anzusprechen und dabei Anpassungs-Workflows über Tinker in den Vordergrund zu stellen.
[Standard-Architektur für dichte Modelle] Eingabe-Token ──> Alle Parameter aktiv (975B) ──> Hohe Rechenkosten & Latenz [Mixture-of-Experts (MoE)-Architektur] Eingabe-Token ──> Sigmoid-basierter Router ──> Aktive Experten (41B) ──> Kostengünstige, schnelle Inferenz
Da bei vielen großen MoE-Implementierungen die Inferenz-Effizienz zunehmend von der Speicherbandbreite abhängt und weniger vom arithmetischen Durchsatz, verlagern sich viele Implementierungen auf eine speicherzentrierte Inferenzoptimierung. Während das Basismodell von Grund auf neu trainiert wurde, nutzte die Post-Training-Phase einen synthetischen Datensatz, der von bestehenden Open-Weights-Modellen generiert wurde, darunter Moonshot AIs Kimi K2.5. Benchmark-Ergebnisse zeigen, dass Inkling eine Leistung erzielt, die mit NVIDIA Nemotron 3 Ultra vergleichbar ist, während es nur ein Drittel der Tokens verbraucht. Die strukturellen Fähigkeiten, die Thinking Machines mit der Veröffentlichung von Inkling unter Beweis stellt, zeigen, wie benutzerdefinierte MoE-Architekturen den betrieblichen Gesamtaufwand reduzieren, wie im Thinking Machines Interaction Models Report beschrieben.
Inkling vs. DeepSeek-V3 im Überblick
Um die technischen Unterschiede zwischen diesen führenden Open-Weights-Architekturen zu verdeutlichen, fasst die folgende Vergleichstabelle ihre grundlegenden Designentscheidungen zusammen:
| Technische Kennzahl | Inkling MoE-Modell | DeepSeek-V3 Architektur |
|---|---|---|
| Open-Source-Lizenz | Apache 2.0 (freizügig) | MIT (freizügig) |
| Gesamte Parameteranzahl | 975 Milliarden Parameter | 671 Milliarden Parameter |
| Aktive Parameter | 41 Milliarden pro Token | 37 Milliarden pro Token |
| Kontextfenster-Größe | Bis zu 1 Million Tokens | Bis zu 128 Tausend Tokens |
| Positions-Embedding | Relative Positions-Embeddings | Rotary Positional Embedding (RoPE) |
Build vs. Buy: Strategien für die Bereitstellung von Open-Weights-Modellen
Da die Betriebskosten für die Wartung von allgemeinen KI-APIs weiter steigen, veranlasst die Veröffentlichung von Inkling Ingenieurteams dazu, langfristige Infrastrukturstrategien neu zu bewerten. Die Überprüfung der Systemabhängigkeiten offenbart eine kritische finanzielle Realität: Das Mieten proprietärer Modelle kann zu einer Falle doppelter Kosten führen. Satya Nadella argumentierte kürzlich, dass Unternehmen, die proprietäre KI nutzen, effektiv zweimal bezahlen: einmal durch direkte Abonnementkosten und erneut durch die Preisgabe ihres proprietären Geschäftswissens, das in Prompts eingebettet ist – ein Thema, das im technischen Beratungsartikel von Nadella diskutiert wird.
Niedrigere Inferenzkosten verändern auch die Bewertung von Infrastrukturausgaben in Unternehmen. Aus FinOps-Perspektive erfordert die Entscheidung zwischen dem Aufbau maßgeschneiderter lokaler Pipelines und der kontinuierlichen Nutzung proprietärer Cloud-Endpunkte eine gründliche Bewertung der Recheneffizienz. Durch die Veröffentlichung von Inkling können Entwickler Token-Budgets besser mit Leistungsprofilen in Einklang bringen. Da die Modellgewichte offen verfügbar sind, können Unternehmen Bereitstellungspipelines anpassen und die modifizierten Gewichte kommerziell nutzen, ohne an proprietäre Plattformen gebunden zu sein. Dieses Anpassungsparadigma wird vollständig von der Fine-Tuning-Plattform Tinker des Thinking Machines Lab unterstützt, auf der Unternehmen private Gewichte hochladen und gezielte Domänenschulungen durchführen können.
Bereitstellungsszenarien und Plattformauswahl
Um Infrastrukturarchitekten bei der Bewertung ihrer Hosting-Konfigurationen unter diesen sich wandelnden Wirtschaftsmodellen zu unterstützen, skizziert die folgende Matrix die gängigen Kompromisse:
| Bereitstellungsszenario | Inferenzkosten | Support für Anpassungen | Datensouveränität |
|---|---|---|---|
| Gehostete Closed-Source-APIs | Hoch (Abrechnung pro Token) | Keine (Statische Systemstandards) | Gering (Externes API-Routing) |
| Selbst gehostetes Basis-Inkling | Mittel (Server-Infrastruktur) | Mittel (Manuelle lokale Updates) | Hoch (Lokales Hosting) |
| Feinabgestimmtes Inkling auf Tinker | Niedrig (Optimierte aufgabenspezifische Runtimes) | Hoch (Programmatisches Fine-Tuning) | Hoch (Private Cloud-Isolation) |
Der Wert des Open-Weights-Anpassungsansatzes wird durch ein gemeinsames Projekt zwischen Thinking Machines und Bridgewater Associates, dem weltweit größten Hedgefonds, demonstriert. Indem sie ein Basis-Open-Modell nahmen und es mit dem proprietären Finanzwissen von Bridgewater weiter trainierten, entwickelten Forscher ein System, das bei Finanzlogik-Tests 84,7 % erreichte. Dieses maßgeschneiderte Modell übertraf führende proprietäre Alternativen und verursachte dabei nur etwa ein Vierzehntel der Betriebskosten. Diese Leistungskennzahlen unterstützen direkt die FinOps-Ziele und ermöglichen es Entwicklern, Token-Budgets mit Leistungsprofilen in Einklang zu bringen, wie in der Bridgewater-Studie zur finanziellen Entscheidungsfindung dokumentiert.
Integrations-Checklisten: Wie Ingenieurteams sich auf Plattformänderungen vorbereiten können
Um Datenpipelines zu sichern und die technische Autonomie zu gewährleisten, während Open-Weights-Modelle zum Industriestandard werden, müssen Ingenieur- und Produktteams einen klaren Migrationsfahrplan erstellen.
Checkliste für die Entwickler-Implementierung
- Inferenz-Pipelines bewerten: Richten Sie Quantisierungs-Benchmarks mit Frameworks wie SGLang, vLLM oder llama.cpp ein, um den Speicherbedarf zu optimieren.
- GPU-Auslastung analysieren: Analysieren Sie aktive Experten-Routing-Pfade, um Einschränkungen der Speicherbandbreite bei gleichzeitigen Inferenzläufen zu minimieren.
- Fine-Tuning-Workflows prüfen: Konfigurieren Sie Vorlagen zur Modellanpassung auf Plattformen wie Tinker, um Evaluierungs-Rubriken zu automatisieren.
Checkliste für Produkt- & Wachstumsstrategie
- Modell-Lizenzparameter verifizieren: Überprüfen Sie die Apache-2.0-Bedingungen, um die Einhaltung für die nachfolgende kommerzielle Weitergabe sicherzustellen.
- FinOps-Monitoring etablieren: Vergleichen Sie die langfristigen Server-Hosting-Kosten selbst gehosteter Open Weights mit der Abrechnung von Cloud-API-Abonnements, um Rechenpipelines zu optimieren.
- Proprietäre Datenspeicher isolieren: Richten Sie strikte Datensandkästen ein, um sicherzustellen, dass sensibles Unternehmenswissen nicht von externen öffentlichen Modellen aufgenommen wird.
Durch die Etablierung dieser strukturierten Richtlinien können Entwicklungsteams ihre Anwendungen auf sicherere, konformere Architekturen umstellen und gleichzeitig die operative Kontinuität wahren.
Häufig gestellte Fragen (FAQ)
Warum bedeutet die Nutzung geschlossener, proprietärer Modelle, dass Unternehmen "zweimal zahlen"?
Was sind die technischen Vorteile der Mixture-of-Experts-Architektur von Inkling?
Ist Inkling für den Einsatz in Unternehmen ohne zentralisierte Sicherheitsvorkehrungen (Guardrails) sicher?
Ist Inkling Open Source?
Wichtige Erkenntnisse für Ingenieurteams
Inkling zeigt, dass sich Unternehmens-KI in Richtung anpassbarer Open-Weights-Bereitstellung entwickelt. Anstatt proprietäre KI-Plattformen vollständig zu ersetzen, erweitert Inkling das Spektrum der Bereitstellungsstrategien, die Ingenieurteams in Unternehmen zur Verfügung stehen.
Organisationen, die Open-Weights-Modelle übernehmen, werden zunehmend die private Bereitstellung, Modell-Governance, effiziente Inferenz und langfristige Betriebseffizienz der Abhängigkeit von proprietären APIs vorziehen. Teams sollten daher Infrastrukturen priorisieren, die effizientes Fine-Tuning, Inferenzoptimierung und Governance ermöglichen.
Share this article
