Model Bahasa Pertama Wilayah Persiapan AI Swedia
totosgp

Model Bahasa Pertama Wilayah Persiapan AI Swedia

Jika Raja Swedia menginginkan bantuan untuk menyusun pidato Natal tahunannya tahun ini, dia dapat meminta model AI yang sama yang tersedia untuk 10 juta subjeknya.

Sebagai tes, para peneliti mendorong model, yang disebut GPT-SW3, untuk menyusun salah satu pesan kerajaan, dan itu melakukan pekerjaan yang cukup bagus, menurut Magnus Sahlgren, yang mengepalai penelitian dalam pemahaman bahasa alami di AI Swedia, sebuah konsorsium yang memulai perjalanan negara ke era pembelajaran mesin.

“Kemudian, menteri digitalisasi kami mengunjungi kami dan meminta model untuk menghasilkan argumen untuk posisi politik dan muncul dengan beberapa yang sangat pintar — dan dia secara intuitif memahami bagaimana mendorong model untuk menghasilkan teks yang baik,” kata Sahlgren.

Keberhasilan awal mengilhami pekerjaan pada versi yang lebih besar dan lebih kuat dari model bahasa yang mereka harapkan akan melayani setiap warga negara, perusahaan atau lembaga pemerintah di Skandinavia.

Model Multibahasa

Versi saat ini mengemas 3,6 miliar parameter dan cukup pintar untuk melakukan beberapa hal keren dalam bahasa Swedia. Tim Sahlgren bertujuan untuk melatih model mutakhir dengan 175 miliar parameter yang dapat menangani semua jenis tugas bahasa dalam bahasa Nordik seperti Swedia, Denmark, Norwegia dan, diharapkan, juga Islandia.

Misalnya, startup dapat menggunakannya untuk membuat deskripsi produk secara otomatis untuk situs web e-niaga yang hanya diberikan nama produk. Instansi pemerintah dapat menggunakannya untuk mengklasifikasikan dan mengarahkan pertanyaan dari warga dengan cepat.

Perusahaan dapat memintanya untuk meringkas laporan dengan cepat sehingga mereka dapat bereaksi dengan cepat. Rumah sakit dapat menjalankan versi suling dari model secara pribadi pada sistem mereka sendiri untuk meningkatkan perawatan pasien.

“Ini adalah model dasar yang akan kami berikan sebagai layanan untuk tugas apa pun yang ingin diselesaikan orang,” kata Sahlgren, yang telah bekerja di persimpangan pembelajaran bahasa dan mesin sejak ia memperoleh gelar Ph.D. dalam linguistik komputasi pada tahun 2006.

Izin Berbicara Bebas

Ini adalah kemampuan yang semakin dilihat sebagai aset strategis, batu kunci kedaulatan digital di dunia yang berbicara ribuan bahasa di hampir 200 negara.

Sebagian besar layanan bahasa saat ini berfokus pada bahasa Cina atau Inggris, dua bahasa yang paling banyak digunakan di dunia. Mereka biasanya dibuat di Cina atau AS, dan tidak gratis.

“Penting bagi kami untuk memiliki model yang dibangun di Swedia untuk Swedia,” kata Sahlgren.

Tim Kecil, Sistem Super

“Kami adalah negara kecil dan tim inti yang terdiri dari sekitar enam orang, namun kami dapat membangun sumber daya canggih seperti ini untuk digunakan orang-orang,” tambahnya.

Itu karena Swedia memiliki mesin yang kuat di BerzeLiUs, superkomputer AI 300-petaflops di Universitas Linköping. Ini melatih model GPT-SW3 awal hanya menggunakan 16 dari 60 node di NVIDIA DGX SuperPOD.

Model berikutnya dapat menjalankan semua node sistem. Pekerjaan berukuran super seperti itu membutuhkan perangkat lunak super seperti kerangka kerja NVIDIA NeMo Megatron.

“Ini memungkinkan kami meningkatkan pelatihan kami hingga superkomputer penuh, dan kami cukup beruntung memiliki akses ke para ahli di tim pengembangan NeMo — tanpa NVIDIA, akan jauh lebih rumit untuk sampai sejauh ini,” katanya.

Alur Kerja untuk Bahasa Apa Pun

Insinyur NVIDIA membuat resep berdasarkan NeMo dan proses baru yang disebut p-tuning yang mengoptimalkan model masif dengan cepat, dan dirancang untuk bekerja dengan bahasa apa pun.

Dalam satu tes awal, sebuah model hampir menggandakan akurasinya setelah para insinyur NVIDIA menerapkan teknik tersebut.

Model Bahasa Pertama Wilayah Persiapan AI Swedia
Magnus Sahlgren

Terlebih lagi, ini membutuhkan sepersepuluh data, memangkas kebutuhan puluhan ribu catatan berlabel tangan. Itu membuka pintu bagi pengguna untuk menyempurnakan model dengan kumpulan data spesifik industri yang relatif kecil yang mereka miliki.

“Kami berharap dapat menginspirasi banyak wirausahawan di industri, startup, dan publik menggunakan teknologi kami untuk mengembangkan aplikasi dan layanan mereka sendiri,” kata Sahlgren.

Menulis Bab Selanjutnya

Sementara itu, pengembang NVIDIA telah bekerja untuk membuat perangkat lunak yang diaktifkan menjadi lebih baik.

Satu pengujian menunjukkan harapan besar untuk melatih kemampuan baru menggunakan kumpulan data bahasa Inggris yang tersedia secara luas ke dalam model yang dirancang untuk bahasa apa pun. Dalam upaya lain, mereka menggunakan teknik p-tuning dalam pekerjaan inferensi sehingga model dapat belajar dengan cepat.

Zenodia Charpy, arsitek solusi senior di NVIDIA yang berbasis di Gothenburg, berbagi antusiasme tim AI Swedia yang dia dukung. “Kami baru saja mulai mencoba metode baru dan lebih baik untuk mengatasi tantangan bahasa yang besar ini — masih banyak lagi yang akan datang,” katanya.

Model GPT-SW3 akan tersedia pada akhir tahun melalui program akses awal. Untuk mendaftar, hubungi [email protected]

Namun para bettor tidak harus khawatir, tidak hingga 5 menit, pastinya keluaran ini dapat ditampikan secara live dan dapat kalian saksikan pada web togel hkg. Bagi kalian yang melepas live draw ini, mampu melihat terhadap data hk yang selamanya di update sehabis adanya pengeluaran togel hk hari ini .