Perusahaan startup AI asal Prancis, Mistral, baru-baru ini memperkenalkan model AI generatif terbaru yang dirancang khusus untuk berjalan pada perangkat edge seperti laptop dan ponsel. Model-model ini menawarkan kemampuan yang lebih ringan dan dapat digunakan untuk berbagai aplikasi, memberikan solusi komputasi efisien dan latensi rendah.
Apa Itu Perangkat Edge?
Perangkat edge adalah perangkat komputasi yang terletak di dekat sumber data atau pengguna akhir, memungkinkan data diproses langsung di lokasi, tanpa perlu dikirim ke server pusat atau cloud. Contohnya termasuk smartphone, laptop, perangkat IoT (Internet of Things), hingga mobil otonom dan robotika. Keunggulan utama perangkat edge meliputi waktu respons yang lebih cepat, penghematan bandwidth, peningkatan privasi, dan kemampuan operasi offline. Dengan edge computing, aplikasi yang memerlukan respons real-time atau operasi di lokasi dengan konektivitas terbatas dapat berjalan dengan lebih efisien.
Les Ministraux: Model AI Generatif untuk Berbagai Kebutuhan
Mistral menyebut keluarga model terbarunya ini sebagai "Les Ministraux", yang dapat digunakan atau disesuaikan untuk beragam kebutuhan, mulai dari generasi teks sederhana hingga bekerja sama dengan model yang lebih kompleks untuk menyelesaikan tugas-tugas tertentu.
Dua Varian Les Ministraux
Mistral menawarkan dua varian model ini, yaitu Ministral 3B dan Ministral 8B, yang masing-masing memiliki context window sebesar 128.000 token. Ini memungkinkan model untuk memproses data setara dengan panjang sebuah buku 50 halaman dalam sekali pemrosesan.
Solusi Privasi dan Performa di Perangkat Edge
Dalam sebuah posting blog, Mistral menjelaskan bahwa para pelanggan dan mitranya semakin menginginkan solusi inference lokal yang menjaga privasi untuk aplikasi-aplikasi penting seperti penerjemahan di perangkat, asisten pintar tanpa internet, analitik lokal, dan robotika otonom. Les Ministraux dirancang untuk memenuhi kebutuhan tersebut dengan memberikan solusi komputasi yang efisien dan berlatensi rendah.
Ketersediaan Ministral 8B
Mulai hari ini, Ministral 8B sudah tersedia untuk diunduh, meskipun hanya untuk keperluan penelitian. Bagi pengembang atau perusahaan yang tertarik mengimplementasikan Ministral 8B atau Ministral 3B untuk komersial, Mistral mengharuskan mereka untuk menghubungi perusahaan guna mendapatkan lisensi.
Selain itu, kedua model ini juga bisa digunakan melalui platform cloud milik Mistral, Le Platforme, serta beberapa platform cloud lainnya yang akan bermitra dengan startup ini dalam beberapa minggu ke depan. Biaya penggunaan Ministral 8B adalah 10 sen per juta token (setara dengan sekitar 750.000 kata), sedangkan Ministral 3B dibanderol 4 sen per juta token.
Tren Model AI Lebih Kecil dan Efisien
Saat ini, terdapat tren yang berkembang menuju model AI yang lebih kecil karena lebih murah dan lebih cepat untuk dilatih, disesuaikan, dan dijalankan dibandingkan dengan model-model yang lebih besar. Misalnya, Google terus memperluas keluarga model kecilnya, Gemma, sementara Microsoft menawarkan koleksi model Phi. Meta, melalui pembaruan terbaru untuk suite Llama, juga memperkenalkan beberapa model kecil yang dioptimalkan untuk perangkat edge.
Keunggulan Les Ministraux Dibanding Kompetitor
Mistral mengklaim bahwa Ministral 3B dan Ministral 8B memiliki kinerja yang lebih baik dibandingkan model Llama dan Gemma, serta model mereka sendiri, Mistral 7B, pada beberapa benchmark AI yang dirancang untuk mengukur kemampuan mengikuti instruksi dan pemecahan masalah.
Ekspansi Mistral di Bidang AI
Berbasis di Paris, Mistral baru-baru ini berhasil mengumpulkan dana ventura sebesar $640 juta (± Rp9,9 triliun) dan terus memperluas portofolio produk AI-nya. Selama beberapa bulan terakhir, perusahaan telah meluncurkan layanan gratis untuk pengembang guna menguji model mereka, SDK untuk pelanggan yang ingin menyesuaikan model tersebut, serta model baru, termasuk model generatif untuk kode yang disebut Codestral.
Kesimpulan
Dengan dirilisnya Les Ministraux, Mistral semakin memperkuat posisinya sebagai pemain penting dalam industri AI, khususnya dalam menyediakan solusi AI yang lebih efisien, terjangkau, dan privasi-sentris untuk perangkat edge.
Sumber utama (bahasa Inggris): TechCrunch
Tidak ada komentar:
Posting Komentar