- (021) 53660861
- tableau@ilogoindonesia.id
- AKR Tower – 9th Floor Jl. Panjang no. 5
Kamu pasti sering dengar: “AI bisa ceritakan insight dari data,” “AI bisa prediksi tren,” atau “AI hadirkan visualisasi otomatis.” Tapi apakah semua itu bisa dipercaya? Apakah AI selalu menjawab pertanyaan kita dengan tepat dan relevan?
Dalam tulisan Tableau berjudul “Ensuring AI Accuracy in Agentic Analytics”, penulis menyoroti bahwa tantangan terbesar dalam AI bukan sekadar “bisa menghasilkan jawaban”, melainkan jawaban yang akurat, relevan, dan dapat dipercaya. Artikel itu mengajak kita memahami strategi teknis dan metode validasi agar AI tidak “berkhayal” (hallucinate) dan tetap sesuai konteks.
Di blog ini, saya ingin berbagi intisari yang bisa kamu gunakan—baik sebagai pengembang, pemimpin tim data, maupun pengguna akhir—agar kamu tidak sekadar “menggunakan AI”, tapi “mempercayai AI”.
Tableau menetapkan bahwa akurasi dalam konteks AI agentik (AI yang bisa bertindak, bukan hanya menjawab) adalah kombinasi faktualitas dan relevansi:
Faktualitas: Sejauh mana jawaban AI berdasarkan data yang benar dan fakta yang valid.
Relevansi: Seberapa tepat jawaban itu menjawab pertanyaan pengguna, bukan hal-hal “mirip tapi bukan inti”.
Mereka memberi bobot yang seimbang: 50% faktualitas + 50% relevansi. Artinya, jawaban yang sangat relevan tapi keliru secara fakta sama buruknya dengan jawaban fakta benar tapi tidak sesuai konteks. Tableau
Pemahaman ini penting: AI bukan soal “lebih pintar” sebanyak mungkin, tapi “lebih tepat” dalam konteks yang dibutuhkan.
Berbeda dengan perangkat lunak tradisional yang hasilnya bisa diprediksi (deterministik), AI bisa menghasilkan jawaban berbeda meski pertanyaannya sama. Hal ini yang membuat validasi AI menjadi kompleks.
Tableau menyebut bahwa untuk menilai akurasi — baik aspek faktualitas maupun relevansi — mereka menerapkan tiga jenis metode penilaian:
Penilaian manusia (Human judging) Orang mengevaluasi output AI berdasarkan kriteria: fakta, koherensi, relevansi, dan “jelasnya penjelasan”. Ini metode paling dipercaya, tapi mahal dan tidak skalabel. Tableau
Penilaian AI (AI judging) AI lain atau model reasoning ikut mengevaluasi bahwa output AI sesama sesuai standar manusia. Berguna untuk skala besar, selama terus dikalibrasi ulang. Tableau
Penilaian programatik (Program judging) Pemeriksaan otomatis terhadap sumber data — apakah jawaban AI mengambil data yang benar dan relevan. Bisa mendeteksi kesalahan sumber data, tapi belum tentu memastikan relevansi semantik. Tableau
Dengan kombinasi ketiga metode di atas, mereka bisa mengevaluasi AI dari berbagai sudut.
Untuk menjaga AI tetap “terukur”, Tableau menerapkan kerangka kerja evaluasi yang sistematis:
Mereka menyusun “dataset emas” — contoh pertanyaan dan jawaban yang sudah tervalidasi (ground truth) — sebagai acuan ujicoba AI. Dataset ini mencakup berbagai domain dan skenario nyata. Tableau
Memilih metrik yang handal itu tidak mudah. Metrik harus diuji supaya konsisten, tidak bias, dan bisa menunjukkan apakah AI makin baik dari waktu ke waktu. Tableau
Outer loop / E2E evaluation: menjalankan evaluasi menyeluruh end-to-end menggunakan sistem AI penuh.
Inner loop / component evaluation: memecah sistem menjadi bagian (komponen) kecil, mengevaluasi tiap komponen secara independen agar optimasi lebih efisien. Tableau
Golden dataset diperluas secara rutin, memasukkan pertanyaan dari domain baru, masukan pengguna, dan skenario tak terduga. Dengan demikian, AI diuji tidak hanya di kasus “ideal” tapi juga di batas-batas pemakaian. Tableau
Hasil evaluasi dianalisis untuk menemukan pola kesalahan: misalnya, apakah AI sering keliru di domain tertentu, apakah output terlalu “generik”, dsb. Tim menggunakan IDE khusus (mirip coding IDE) untuk menyortir, menandai, dan mengelola hasil. Kemudian mereka memilih area mana yang harus diperbaiki terlebih dahulu. Tableau
Iterasi lanjutan (fine-tuning model, memperbaiki prompt, memperbaharui data) dilakukan secara berkala sambil memastikan perubahan baru tidak merusak performa sebelumnya (regression testing). Tableau
Menariknya, Tableau menyadari bahwa validasi internal saja tidak cukup. Pengguna organisasi juga perlu punya alat sendiri untuk menguji dan menyesuaikan AI berdasarkan data, terminologi, dan kebutuhan spesifik mereka — agar AI terasa “bernapas” sesuai konteks bisnis masing-masing. Tableau
Dengan begitu, pengguna bisa:
Melakukan uji mandiri (self-service agent testing)
Menyesuaikan prompt dan metadata agar AI lebih paham “kosakata internal” organisasi
Mengkalibrasi AI agar lebih relevan dengan struktur data, model semantik, dan tujuan analitik mereka
Hal ini menjembatani kesenjangan antara AI generik dan AI yang “bertumbuh di lingkungan kita sendiri”.
Berikut alasan penting mengapa topik ini relevan bagi kamu:
Kepercayaan pengguna itu mahal Jika AI sering salah atau keluar konteks, pengguna cepat kecewa — dan kamu akan kehilangan trust.
Implementasi AI bukan sekali “jujur-jujuran” lalu selesai AI butuh pemeliharaan berkelanjutan. Validasi dan iterasi rutin itu wajib.
Akurasi + transparansi = keunggulan kompetitif Organisasi yang bisa menjamin bahwa insight AI itu akurat punya nilai tersendiri di pasar data.
Kustomisasi = relevansi nyata AI yang hanya “global” tanpa pemahaman konteks organisasi bisa jadi tidak berguna. Validasi internal + eksternal membantu jembatani itu.
AI yang hebat bukanlah yang memberi jawaban instan, tetapi yang mampu menjawab dengan akurasi dan konteks. Tableau mengajak kita untuk tidak terpaku pada “kemampuan AI”, melainkan pada bagaimana kita mengujinya, memvalidasinya, dan menjaganya agar tetap relevan dan dapat dipercaya.
Jika kamu tengah merancang sistem AI, menggunakan fitur AI dalam perangkat data, atau berencana memasukkan “agentic analytics” ke dalam workflow timmu — pastikan kamu bukan hanya menyalakan AI, tetapi memeliharanya dengan ketelitian.
Infrastruktur IT yang kuat adalah kunci pertumbuhan bisnis. Tableau Indonesia menyediakan solusi terbaik, mulai dari jaringan,storage, cloud, hingga keamanan siber, yang di integrasikan oleh iLogo Indonesia agar sesuai dengan kebutuhan bisnis Anda. Pelajari lebih lanjut di Tableau.ilogoindonesia.id dan konsultasikan kebutuhan IT Anda dengan kami!
©2024 Tableau Indonesia. All Right Reserved.