 |
| Google translate vs ChatGPT |
Google Terjemahan vs. ChatGPT: Yang Mana Penerjemah Bahasa Terbaik?. Kami menguji ChatGPT, Bing AI, dan Google Bard, meminta orang yang fasih dalam tujuh bahasa non-Inggris untuk menilai bagaimana hasil chatbot AI dibandingkan dengan tanggapan dari Google Terjemahan.
Dengan Google Terjemahan , mengonversi kalimat apa pun menjadi lebih dari 100 bahasa sangatlah mudah, tetapi siapa pun yang menggunakannya secara teratur tahu bahwa masih ada ruang untuk perbaikan.
Secara teori, model bahasa besar (LLM) seperti ChatGPT harus mengantar era terjemahan bahasa berikutnya. Mereka mengonsumsi data pelatihan berbasis teks dalam jumlah besar, ditambah umpan balik waktu nyata dari jutaan pengguna di seluruh dunia, dan dengan cepat mempelajari cara "berbicara" dalam berbagai bahasa dengan kalimat yang koheren dan mirip manusia.
Namun kami telah mendengar pengulangan "ChatGPT akan menggantikan segalanya" sebelumnya, hanya untuk menemukan bahwa itu sering tidak akurat — skenario terburuk untuk terjemahan. "Saat ini kami tidak memiliki hasil empiris yang mendukung klaim LLM cerewet bekerja lebih baik untuk terjemahan," kata Nazneen Rajani, kepala penelitian di Hugging Face(Terbuka di jendela baru), pembuat Hugging Chat berbasis AI.
Jadi, kami memutuskan untuk menguji ChatGPT. Apakah ada kemampuan untuk menggantikan Google Terjemahan sebagai layanan terjemahan untuk perjalanan, pekerjaan, romansa lintas batas, dan kebutuhan bahasa lainnya? Dan bagaimana perbandingannya dengan chatbot saudaranya, Microsoft Bing , dan Google Bard ?
Metodologi dan Bahasa Diuji
Kami meminta penutur dwibahasa dari tujuh bahasa untuk melakukan tes buta. Semuanya tumbuh dengan bahasa non-Inggris, dan sekarang tinggal di AS dan/atau bekerja untuk perusahaan Amerika.
Diberikan satu paragraf dalam bahasa Inggris, mereka memberi peringkat versi terjemahan untuk bahasa mereka oleh Google Translate, ChatGPT, dan Microsoft Bing. Begitu mereka menyelesaikan latihan, kami mengungkapkan layanan mana yang menghasilkan masing-masing.
Bahasa yang Diuji: Polandia, Prancis, Korea, Spanyol, Arab, Tagalog, Amharik
Layanan Terjemahan: Google Terjemahan, Google Bard, ChatGPT, Microsoft Bing
Ini sama sekali bukan studi yang komprehensif. "Tolong pertimbangkan bahwa tes buta kecil tidak cukup; pengujian yang lebih ketat diperlukan untuk mengevaluasi dan membandingkan alat ini dengan signifikansi statistik dengan benar," kata Federico Pascual, seorang veteran industri AI. Namun, hasilnya sangat konsisten, memberikan gambaran menarik tentang cara kerja model AI.
Membuat Paragraf untuk Terjemahan
Dengan bahasa dan model AI yang dipilih, kami membuat beberapa paragraf dalam bahasa Inggris yang akan mengungkap batas kemampuan terjemahan setiap layanan. Yang pertama mencakup dua bahasa sehari-hari yang rumit: "Berhembus", yang berarti bersantai setelah hari yang menegangkan, dan "Cheers!" artinya, "Terima kasih!" Itu juga memiliki dua pengukuran yang perlu dikonversi dalam skenario kehidupan nyata: USD ($) dan mil (sebagai lawan dari kilometer).
Paragraf 1 - "Halo! Apakah Anda berbicara bahasa Inggris? Saya perlu bantuan dengan arah. Saya mencoba mencari restoran vegetarian karena saudara perempuan saya tidak makan daging. Apa yang Anda rekomendasikan? Kami juga ingin tinggal beberapa mil dari sini , dan tidak ingin menghabiskan lebih dari $50. Jika mereka memiliki koktail, itu akan menjadi bonus. Kami telah melakukan perjalanan seharian dan perlu mengeluarkan tenaga! Anda dipersilakan untuk bergabung dengan kami. Bersulang! "
Paragraf kedua lebih lugas, tanpa frasa atau satuan pengukuran, tetapi memiliki lebih banyak bahasa gaul ("hooligan", dan "pop sampanye"). Kami hanya mengirimkan yang ini ke peserta paruh kedua dalam upaya memperluas pengumpulan data saat kami menyempurnakan pendekatannya.
Paragraf 2 - "Bagaimana cara membeli tiket ke pesta kapal? Apakah kita perlu membayar di muka, atau bisakah kita membelinya di dermaga ketika kita tiba? Saya harus berada di dek atas karena terkadang saya mabuk laut ketika saya ' Aku terlalu dekat dengan air. Selain itu, aku ingin berada sejauh mungkin dari para hooligan muda yang ingin terus-menerus menyeruput sampanye selama perjalanan. Itu berbahaya dan bukan kesenanganku!
Hasil: AI Chatbots Mengalahkan Google Terjemahan
 |
| Google terjemahan vs ChatGPT |
Dari 12 contoh yang kami kirim ke peserta kami, mereka lebih memilih chatbot AI—ChatGPT, Google Bard, atau Microsoft Bing—daripada Google Terjemahan. ChatGPT mengungguli mereka semua.
"Menurut pendapat saya, [ChatGPT] paling mendekati percakapan normal," kata Ana Romero, yang memeringkat terjemahan bahasa Spanyol. "Tingkat formalitas antara dua pertanyaan kunci adalah konsisten (informal) dan terjemahan yang tepat dari 'to blow off steam' digunakan."
Romero juga mengapresiasi bahwa terjemahan ChatGPT memberikan opsi untuk mengakhiri kata-kata tertentu dengan maskulin atau feminin, daripada memilih satu untuk Anda. Misalnya, tertulis: eres bienvenido/a a unirte a nosotros— "Anda boleh bergabung dengan kami"—yang bervariasi berdasarkan jenis kelamin pembicara yang diundang.
Google Bard jarang berfungsi, dan bahkan memberi tahu kami, "Saya tidak bisa menerjemahkan bahasa." Sebaliknya, disarankan untuk menggunakan Google Terjemahan, kemungkinan upaya Google untuk tidak mengkanibalisasi produknya sendiri. Tapi kami masih mengujinya, dan tiga kali berhasil (Korea, Prancis, Spanyol), peserta kami memberi peringkat hasilnya lebih tinggi daripada Google Terjemahan.
Semua chatbot tidak memenuhi harapan kami yang tinggi untuk pengukuran mata uang dan jarak di paragraf pertama. Mengingat sifat percakapan mereka dan kemampuan untuk mengajukan pertanyaan lanjutan, kami berharap mereka akan menanyakan mata uang apa yang akan dikonversi, dan jika kami lebih suka mil atau kilometer.
Sebaliknya, mereka memperlakukannya dengan cara yang sama seperti Google Terjemahan; membuat penyesuaian kecil, terkadang menambahkan "USD" setelah $50, atau terus mengonversi mil ke kilometer. Itu tidak konsisten di seluruh bahasa dan layanan dan tidak sempurna secara keseluruhan.
Semuanya Bermuara pada Menguasai Nuansa
Jebakan yang konsisten untuk Google Terjemahan adalah interpretasi literalnya. "Itu adalah terjemahan 'kata demi kata' terbanyak di antara ketiganya," kata Emile Saad, yang memeringkat terjemahan bahasa Arab. "Ini menyebabkan beberapa konteksnya hilang. Misalnya, 'pop' [seperti dalam sampanye] diterjemahkan menjadi 'melakukan kembang api.'"
Dalam bahasa Prancis, Google Translate menyimpan kata "hooligans" dalam bahasa Inggris, sementara chatbots tahu menggunakan bahasa gaul yang sesuai dengan budaya voyous .
Ternyata, chatbot dirancang untuk unggul dalam nuansa dan konteks. Bahasa di mana model memiliki kumpulan data sumber yang besar, dan lebih banyak pengguna yang berinteraksi dalam bahasa tersebut, dapat mengidentifikasi frasa budaya dengan lebih baik dan memilih kecocokan yang paling sesuai dalam bahasa target.
"Saus rahasia chatbots seperti ChatGPT adalah RLHF, yang merupakan pembelajaran penguatan dengan umpan balik manusia," kata Rajani dari Hugging Face. "[Mereka] mengumpulkan preferensi manusia pada respons model untuk dimensi seperti kejujuran, tidak menyakiti, membantu, dll. Preferensi manusia membantu memilih yang lebih sesuai secara budaya, terutama untuk penutur non-pribumi."
Seorang juru bicara Google memberi tahu PCMag bahwa Bard dan Google Translate memiliki "teknologi dasar yang berbeda, jadi tidak mengherankan jika mereka menghasilkan keluaran yang berbeda." Bard adalah model bahasa besar yang dirancang untuk melakukan berbagai tugas, sedangkan Google Terjemahan dioptimalkan secara khusus untuk tugas penerjemahan.
"Yang penting adalah ukuran; model ini adalah model terbesar dan terbaik di luar sana," kata Pascual. "Mereka berada di garis depan perlombaan senjata AI. Jadi tidak mengherankan bahwa mereka lebih baik dalam menerjemahkan teks daripada Google Terjemahan, karena Google Terjemahan mungkin menggunakan teknologi yang lebih tua, model yang lebih kecil, [dan] mungkin dioptimalkan untuk berjalan dengan cepat dan cepat. semurah mungkin."
Namun, tidak satu pun dari keempat opsi tersebut merupakan pengganti satu-ke-satu untuk pembicara yang fasih. Semua chatbot kadang-kadang masih mengalami pilihan kata yang canggung dan tidak akurat, mereka hanya memiliki lebih sedikit contoh. Misalnya, dalam bahasa Polandia, Microsoft Bing menerjemahkan "Anda dipersilakan untuk bergabung dengan kami [di restoran]", menjadi "Zapraszamy Cię do nas", yang sebenarnya merupakan undangan untuk "datang ke rumah saya", kata Barbara Pavone, PCMag's manajer senior distribusi konten.
Jika Anda Berbicara 2 Bahasa Ini, Gunakan Google Terjemahan
 |
| AI Generator Vs Google Translate |
Dalam pengujian kami, dua bahasa menempatkan Google Terjemahan di peringkat teratas: Tagalog (Filipina) dan Amharik (Etiopia). Mereka memiliki perkiraan populasi penutur global terkecil: Tagalog memiliki 33 juta penutur global yang mengklaimnya sebagai bahasa ibu mereka, dan Amharik memiliki 25 juta, menurut WorldData.info(Terbuka di jendela baru). (Bahasa Spanyol memiliki 450 juta untuk bahasa Spanyol dan Korea mencapai 80 juta.)
"[Model AI] tidak akan menggeneralisasi dengan baik untuk bahasa dengan sumber daya rendah atau yang preferensi manusianya tidak dikumpulkan," kata Rajani. Untuk bahasa Amharik dan Tagalog, kami menduga chatbot kekurangan data yang cukup untuk membuat respons bernuansa yang sesuai dengan konteks paragraf. Sebaliknya, mereka tampil lebih literal daripada Google Terjemahan, kebalikan dari apa yang kami lihat untuk bahasa lain.
Colin Salao, yang memeringkat terjemahan Tagalog, mencatat bahwa ChatGPT menggunakan kata-kata yang "super formal", dan dicadangkan untuk pengumuman publik. Dia menganggap Bing sebagai "terjemahan paling literal", dan memeringkatnya lebih rendah dibandingkan dengan ChatGPT dan Google Terjemahan.
Microsoft Bing bahkan lebih berjuang untuk bahasa Amharik. Itu meninggalkan sebagian dari setiap paragraf dalam bahasa Inggris. Ini adalah satu-satunya saat salah satu layanan gagal mencoba menerjemahkan, termasuk untuk bahasa berbasis skrip lainnya seperti bahasa Korea dan Arab:
Paragraf 1 - ሰላም! Apa yang harus saya lakukan? Hasil Pencarian ጋሉ? Apakah Anda $50 atau lebih untuk koktail atau koktail? ከ 2-3 ሜ. Kami telah menjalani hari yang panjang dalam perjalanan dan perlu mengeluarkan tenaga! Anda dipersilakan untuk bergabung dengan kami. Bersulang!
Paragraf 2 - እንዴት መገልገያ ይጠቀማል? Apa yang harus dilakukan di dok? በ መጠን የ dek atas ይደርሳል እና በ ግራ ተጨማሪ የ sampanye መጠጥ የ hooligan muda ከ ተጨማሪ በ ቀን ይጠቀማ? Itu berbahaya dan bukan kesenanganku!
AI Akan Meningkatkan Terjemahan Web
Untuk perjalanan musim panas atau kebutuhan bahasa lainnya, ChatGPT mungkin merupakan pilihan yang lebih baik daripada Google Terjemahan. Plus, aplikasi iOS baru membuatnya lebih mudah diakses. Tapi seperti yang kita lihat dengan bahasa Amharik dan Tagalog, chatbots belum sepenuhnya menggantikan standby lama.
Namun, dengan lebih banyak data pelatihan di setiap bahasa, model AI berpotensi melampaui kemampuan Google Terjemahan secara keseluruhan. "Kami sangat senang dengan potensi LLM dan bagaimana mereka dapat dimasukkan ke dalam produk kami," kata Google kepada PCMag.
Google juga sedang menguji halaman hasil pencarian baru , yang dijuluki search generative experience (SGE). Ini diatur untuk diluncurkan di Google.com pada tanggal yang dirahasiakan, dan akan menawarkan jawaban gaya ChatGPT berbasis paragraf untuk pertanyaan. Tetapi Google menekankan bahwa Bard dan SGE bersifat eksperimental, dan tidak mengomentari apakah mereka dapat menggantikan Google Terjemahan di masa mendatang.
Sebelum hal ini terjadi, Google harus memiliki cara yang lebih pasti untuk mengukur kemampuan terjemahan chatbot—dan untuk membuktikannya lebih baik daripada Google Terjemahan. Secara lebih luas, semua chatbot harus dapat berinteraksi dalam berbagai bahasa, seperti bahasa Amharik, agar masa depan web tetap dapat diakses dan 'Seluas Dunia' mungkin.
"Semua sistem [AI] ini adalah kotak hitam dan tidak membagikan informasi spesifik tentang cara pembuatannya, data mana yang digunakan untuk pelatihan, dll," kata Pascual. "Kami baru saja mulai melihat apa yang dapat dilakukan oleh model-model besar ini, dan itu sama menarik dan menakutkannya!"