Dalam lingkungan dinamis di mana pengguna, data, alur kerja, dan teknik serangan terus berubah pasca penerapan, kepercayaan terhadap agen AI telah menjadi masalah runtime. Banyak organisasi masih memperlakukan kepercayaan sebagai latihan pra-penerapan, menyatakan agen siap produksi setelah melewati evaluasi sandbox dan uji keamanan. Sayangnya, kepercayaan tersebut runtuh begitu agen berinteraksi dengan dunia nyata.
Vin Sharma, Founder dan CEO Vijil, menekankan bahwa CIO dan pemilik bisnis sering memandang sistem AI seperti aplikasi SaaS atau mobile yang tidak merespons secara dinamis terhadap lingkungan sekitarnya. Agen, menurut definisi, dirancang untuk mempersepsi lingkungan, bernalar, bertindak, mengamati konsekuensi, dan belajar dari kesenjangan antara harapan dan realitas. Model di baliknya dibangun dari data pelatihan statis yang sudah usang saat mencapai produksi.
Skor benchmark tradisional menawarkan penilaian titik waktu terhadap kemampuan agen, bukan kepercayaannya. Ada tiga alasan utama mengapa penilaian ini gagal memprediksi perilaku enterprise nyata. Pertama, benchmark bersifat statis dan dibangun berdasarkan gagasan kinerja baik pada saat pengembangannya, sementara dunia terus bergerak. Kedua, benchmark memodelkan realitas secara tidak sempurna sehingga kesenjangan antara benchmark dan dunia nyata menjadi tempat banyak kegagalan terjadi. Ketiga, benchmark bersifat publik sehingga bocor ke data pelatihan model masa depan, memungkinkan model menghafal tes daripada membuktikan kemampuan sebenarnya.
Sharma menambahkan bahwa agen atau aplikasi bisa mencetak nilai sangat tinggi pada benchmark, tetapi kesenjangan dengan dunia nyata tetap ada. Melakukan baik hanya membuktikan kemampuan lulus tes, bukan performa andal di produksi. Benchmark mengukur kemampuan, bukan kepercayaan. Agen seharusnya tidak hanya dilihat sebagai pembantu utilitas, melainkan diberi objektif yang menuntut kewajiban kompetensi, perhatian, dan loyalitas kepada enterprise.
Konsep fiduciary agent meminjam dari profesi yang terikat kewajiban formal seperti institusi keuangan atau penyedia layanan kesehatan. Ini menjawab isu kritis industri saat ini yang terlalu fokus pada kompetensi tanpa memperhatikan apakah agen terikat pada kepentingan principal yang mendelegasikan tugas. Pengujian dimulai dari definisi bahwa agen terpercaya jika manfaat delegasi tugas melebihi risiko kegagalan tugas tersebut. Risiko terbagi menjadi reliabilitas, keamanan, dan keselamatan.
Skor yang dihasilkan dapat dibandingkan dengan peringkat kredit konsumen yang dibangun dari data perilaku. Metodologi pengujian berpusat pada tiga P: purpose, personas, dan policies. Purpose-based testing beradaptasi dengan workflow spesifik agen. Persona-based testing menggunakan profil pengguna beragam serta profil penyerang. Policy-based testing membangun harness khusus dari aturan organisasi.
Banyak kegagalan tidak muncul dalam pengujian pra-produksi karena muncul dari perubahan lingkungan itu sendiri. Multi-agent system memperkenalkan kategori kegagalan baru yang tidak terdeteksi pada level agen individual, seperti kolusi antar agen yang bekerja melawan kepentingan principal.
Dalam konteks regulasi AI yang semakin ketat di berbagai negara, pendekatan fiduciary ini membantu organisasi memenuhi standar kepatuhan yang menekankan akuntabilitas berkelanjutan. Selain itu, penerapan continuous trust management dapat mengurangi biaya pemulihan insiden dengan memprioritaskan observabilitas sejak tahap desain sistem.
Secara operasional, continuous trust management mencakup discovery untuk membawa shadow AI ke dalam tata kelola, pemberian workload identity standar bagi setiap agen, serta enforcement point berbasis kebijakan. Dua KPI baru muncul yaitu time to trust dan time to recovery. Sharma menegaskan bahwa kepercayaan bukan sekadar vibe atau kebajikan, melainkan sesuatu yang dibangun ke dalam infrastruktur sistem secara berkelanjutan, terukur, dan memungkinkan perbaikan terus-menerus.
