0
0
Waymo, perusahaan mobil otonom di bawah Alphabet, menekankan bahwa sebuah proyek AI belum siap diluncurkan hanya karena modelnya menunjukkan performa baik di laboratorium. Sebaliknya, kematangan evaluasi menjadi penentu utama kesiapan sistem. Pendekatan ini dikenal sebagai eval-forced development, di mana pengujian terintegrasi sejak awal siklus pengembangan.
Manasi Joshi, direktur rekayasa Waymo untuk sistem intelijen dan machine learning, menjelaskan bahwa evaluasi dilakukan secara berkelanjutan, bukan hanya sebelum peluncuran. Proses ini mencakup pengujian saat pelatihan model, setelah pelatihan, serta dalam simulasi open-loop dan closed-loop. Waymo telah mencatat lebih dari 220 juta mil otonom penuh dengan tingkat cedera kecelakaan serius 17 kali lebih rendah dibandingkan pengemudi manusia.
Evaluasi tidak berhenti setelah sistem beroperasi di jalan. Waymo terus memantau performa saat model, data, dan perilaku pengguna berubah. Metode ini relevan bagi perusahaan yang membangun agen AI di sektor lain, karena mengandalkan metrik bisnis nyata daripada benchmark umum saja.
Salah satu tantangan utama adalah menguji skenario langka dan berbahaya. Waymo menggunakan data log kendaraan, data pihak ketiga, serta simulasi yang mencakup miliaran mil sintetis untuk mengevaluasi situasi seperti penyeberangan kereta api, zona konstruksi, dan interaksi dengan pengguna jalan rentan. Pendekatan serupa bisa diterapkan perusahaan untuk menguji edge case pada agen layanan pelanggan atau sistem keuangan.
Waymo juga menambahkan lapisan pengawasan manusia dalam keputusan rilis. Tinjauan kesiapan produksi melibatkan pemimpin keselamatan internal yang menyetujui ekspansi area layanan. Ini menegaskan bahwa keputusan akhir tidak sepenuhnya diserahkan pada otomasi.
Dalam hal efisiensi, Waymo mengoptimalkan penggunaan sumber daya komputasi tanpa mengorbankan keandalan. Mereka menerapkan data efficiency dengan memilih contoh pelatihan paling relevan, serta memanfaatkan transformer sejak 2017 dan kini mengembangkan model multimodal generatif. Kombinasi sistem onboard dan off-board memaksa optimasi inferensi real-time sekaligus infrastruktur pendukung.
Secara internal, Waymo menggunakan agen AI untuk membantu insinyur menganalisis distribusi data dan menangani masalah telemetry. Namun agen-agen ini juga dievaluasi ketat agar tidak menyesatkan tim ke jalur yang tidak produktif.
Pendekatan Waymo menyoroti bahwa kepercayaan pada AI otonom bergantung pada transparansi data evaluasi dan akuntabilitas manusia. Perusahaan lain dapat mengadopsi prinsip serupa untuk memastikan sistem AI mereka tetap andal saat skala operasi meningkat.
