0
0
Thinking Machines baru saja memperkenalkan Inkling-Small, model AI multimodal open source yang berhasil mendekati performa pendahulunya dengan parameter aktif yang jauh lebih sedikit. Model ini memiliki 276 miliar parameter total namun hanya mengaktifkan 12 miliar parameter per token, dibandingkan Inkling yang membutuhkan 41 miliar parameter aktif dari total 975 miliar parameter. Hasilnya, Inkling-Small mencetak skor 40 pada Artificial Analysis Intelligence Index, hanya satu poin di bawah versi besarnya.
Performa Inkling-Small unggul di beberapa benchmark penting seperti SWE-bench Verified dengan 80,2 persen dan Terminal Bench 2.1 dengan 64,7 persen. Model ini juga menunjukkan keunggulan pada SciCode, GPQA Diamond, dan CritPt. Namun, Inkling masih lebih baik pada tugas yang membutuhkan pengetahuan faktual mendalam serta beberapa skenario agentik seperti τ³-Banking.
Arsitektur Mixture-of-Experts memungkinkan efisiensi ini dengan merutekan setiap token ke enam dari 256 expert khusus ditambah dua shared expert. Pendekatan ini mempertahankan kapasitas besar tanpa mengorbankan seluruh sumber daya komputasi setiap saat. Inkling-Small juga mendukung input teks, gambar, dan audio yang diproses bersama dalam decoder tunggal.
Bagi perusahaan, pengurangan kebutuhan memori GPU menjadi daya tarik utama. Versi BF16 membutuhkan minimal 600 GB VRAM agregat, sementara versi NVFP4 turun hingga 180 GB. Konfigurasi yang didukung mencakup 4x NVIDIA B300 atau 8x H200 untuk versi standar. Pengurangan ini membuka peluang bagi organisasi dengan infrastruktur GPU terbatas untuk menjalankan model secara mandiri.
Lisensi Apache 2.0 memberikan fleksibilitas tinggi bagi tim legal dan procurement. Perusahaan dapat memodifikasi, mendistribusikan ulang, serta mengintegrasikan model ke produk komersial tanpa ambang pendapatan atau pembatasan branding yang sering muncul pada lisensi custom. Hal ini berbeda dengan beberapa rilis model Asia yang masih menyertakan syarat komersial tambahan.
Thinking Machines menunjukkan bahwa proses pengembangan model kini lebih terstruktur. Penyempurnaan data pre-training, resep pelatihan, dan distillation on-policy dari Inkling sebagai guru mempercepat iterasi. Dukungan fine-tuning melalui Tinker API serta kompatibilitas dengan SGLang, vLLM, dan Unsloth semakin memperluas pilihan deployment.
Dampaknya terhadap pasar AI enterprise cukup signifikan karena model ini menawarkan trade-off yang menarik antara performa dan biaya operasional. Organisasi yang sebelumnya ragu karena ukuran model besar kini memiliki opsi lebih realistis untuk self-hosting. Selain itu, sifat open-weight-nya mendorong komunitas untuk melakukan kuantisasi lebih lanjut sehingga potensi penggunaan di lingkungan dengan sumber daya lebih terbatas semakin terbuka.
Secara keseluruhan, Inkling-Small memperkuat posisi Thinking Machines sebagai pemain yang mampu menghasilkan model multimodal open source secara berkelanjutan dengan pipeline yang semakin matang.
