GPU memory menjadi sumber daya paling mahal dan cepat habis dalam produksi AI skala besar. Jendela konteks panjang serta percakapan multi-turn memaksa model menghitung ulang informasi yang sudah diproses, menghabiskan memori dan daya komputasi yang seharusnya bisa melayani pengguna lain.
Weka menawarkan pendekatan berbeda dengan memperluas memori GPU menggunakan teknologi penyimpanan flash yang jauh lebih murah. Platform NeuralMesh 6 yang baru diluncurkan bersamaan dengan perangkat keras Wekapod 3 memperkenalkan Augmented Memory Grid, yaitu metode agregasi NAND flash agar berperilaku seperti memori GPU dengan biaya jauh lebih rendah.
NeuralMesh 6 menambahkan empat kemampuan utama. Pertama, composable dan virtual multi-tenancy memungkinkan isolasi tingkat perangkat keras untuk tenant utama sekaligus mendukung hingga 50.000 tenant virtual dalam satu cluster. Kedua, unified file dan object storage menghilangkan kebutuhan gateway terpisah sehingga data fisik yang sama dapat diakses langsung melalui kedua jalur tanpa duplikasi.
Ketiga, metadata-first replication membuat lingkungan tujuan dapat dijelajahi sebelum seluruh salinan data tiba, sehingga alokasi GPU baru bisa langsung digunakan dalam hitungan jam. Keempat, AlloyFlash menggabungkan TLC dan QLC dalam satu cluster dengan pengurangan data yang berjalan otomatis.
Masalah utama yang diselesaikan adalah pemborosan komputasi pada tahap prefill. Setiap prompt baru dalam sesi multi-turn biasanya memicu perhitungan ulang seluruh konteks sebelumnya. Augmented Memory Grid memungkinkan caching 100 persen token yang sudah dihitung di penyimpanan NAND, sehingga tidak perlu diulang.
Dari sisi persaingan, Weka bukan satu-satunya vendor yang mengincar pasar AI. Dell, NetApp, Pure Storage, dan VAST juga telah mengalihkan fokus ke infrastruktur AI. Namun Augmented Memory Grid dinilai memberikan keunggulan teknis dalam implementasi KV cache.
Dua analisis tambahan yang relevan: pertama, peningkatan utilisasi GPU secara langsung menurunkan konsumsi energi per token yang dihasilkan karena server tidak perlu menjalankan perhitungan berulang; ini berdampak pada biaya operasional pusat data yang biasanya didominasi oleh listrik. Kedua, kemampuan provisioning dalam waktu singkat memungkinkan organisasi memanfaatkan alokasi GPU yang bersifat sementara tanpa menunggu proses migrasi data yang biasanya memakan waktu berminggu-minggu.
Teknologi ini paling bermanfaat bagi perusahaan yang sudah menjalankan beban kerja AI dalam skala besar atau memperkirakan pertumbuhan cepat, terutama yang membangun copilots internal, agen layanan pelanggan, dan sistem retrieval dengan konteks panjang. Organisasi dengan deployment lebih kecil mungkin belum merasakan manfaat langsung hingga utilisasi GPU menjadi bottleneck utama.
Dengan pendekatan ini, Weka menekankan bahwa solusi penyimpanan yang dirancang khusus untuk AI sejak awal dapat memberikan efisiensi lebih tinggi dibandingkan sistem yang hanya diadaptasi dari pasar tradisional.
