Tahukah kamu bahwa dalam kompetisi Teknologi berbasis Virtual Assistant Google Assistantlebih baik dalam menjawab pertanyaan kompleks daripada Siri atau Alexa ?
Menurut data yang diterbitkan oleh Bespoken. Hasil studi menggunakan Test Robot Bespoken yang baru-baru ini dikembangkan untuk perangkat keras dan perangkat lunak berbasis suara.
Studi tersebut menunjukkan bagaimana, meski mampu, ketiga asisten suara populer tersebut masih belum memiliki pemahaman yang sempurna dan kemampuan untuk menangani berbagai interaksi dengan orang-orang.
Pertanyaan Kompleks (Complex Q&A)
Untuk studi tersebut, Bespoken menyiapkan Amazon Echo Show 5, Apple iPad Mini, dan Google Nest Home Hub. Para peneliti menanyakan kepada setiap asisten suara serangkaian pertanyaan. Mereka mendefinisikan setiap pertanyaan sebagai sederhana atau kompleks dan menyortirnya ke dalam subjek seperti film, geografi, dan sejarah
Setiap pertanyaan memiliki gaya kompleksitas yang berbeda, dari beberapa mata pelajaran, rangkaian kata kunci non-tata bahasa, dan pertanyaan tanpa jawaban seperti menanyakan siapa orang pertama di Mars.
Persentase jawaban benar yang diberikan setiap asisten suara bervariasi tergantung pada subjek dan jenis pertanyaan, namun peringkatnya seragam.
Google Assistant keluar sebagai juara untuk topik ini, dengan Alexa di tempat kedua dan Siri tertinggal di tempat ketiga.
Khususnya, ketiganya hanya bekerja sedikit lebih baik dengan pertanyaan kompleks daripada pertanyaan sederhana, menunjukkan batasan mereka tidak ada hubungannya dengan memahami apa yang ditanyakan.
“Kami memiliki dua kesimpulan utama dari penelitian awal ini. “Pertama, sementara Asisten Google mengungguli Alexa dan Siri di setiap kategori, ketiganya memiliki ruang yang signifikan untuk perbaikan,” kata kepala evangelist Bespoken Emerson Sklar kepada Voicebot.
Ia juga mengutarakan bahwa “Hasil ini menggarisbawahi perlunya developer untuk menguji, melatih, dan mengoptimalkan secara menyeluruh setiap aplikasi yang mereka buat untuk platform suara ini. Kedua, proses ini sepenuhnya otomatis, dan kami berencana untuk terus menjalankan pengujian ini serta memperkenalkan tolok ukur baru. Otomatisasi semacam ini memungkinkan tidak hanya pengukuran titik waktu tetapi juga pengoptimalan dan peningkatan berkelanjutan. Kami tahu Google, Amazon, dan Apple merangkul ini, dan kami mendorong orang lain juga”.
Uji Coba di Masa Depan
Tes ini adalah penelitian pertama oleh Bespoken, yang pertama kali memulai debut Robot Tes pada bulan April. Robot tersebut juga memperluas alat diagnosis virtual Bespoken ke dunia analog.
Ia meniru ucapan manusia untuk melihat bagaimana aplikasi suara yang dibangun di atas platform suara dan perangkat keras yang berbeda merespons. Klien perusahaan kemudian dapat menggunakan data tersebut untuk memperbaiki dan meningkatkan kreasi mereka.
Ia juga cukup fleksibel untuk digunakan di mobil dan perangkat khusus lainnya dengan AI suara, serta aplikasi pihak ketiga di platform utama, menghemat ribuan jam desainer dalam pengujian manual.
Dengan kesuksesan pengujian pertama ini, perusahaan berencana untuk melakukan pemeriksaan rutin, dengan perluasan ke area baru seperti pengenalan ucapan otomatis, asisten pribadi, dan tanggapan suara interaktif.
Sumber : voicebot.ai
