Intel, Microsoft diskusikan rencana untuk menjalankan Copilot secara lokal di PC, bukan di cloud

Microsoft mengatakan pada bulan Januari bahwa tahun 2024 akan menjadi tahun AI PC yang menyertakan beberapa komponen perangkat keras yang saat ini tidak ada di PC, misalnya Neural Processing Unit (NPU).

Microsoft dan Intel mulai membicarakan beberapa detail sebagai bagian dari pengumuman dari Intel tentang program pengembangan AI PC yang akan mendorong pengembang perangkat lunak untuk memanfaatkan perangkat keras lokal untuk mengintegrasikan fitur AI ke dalam aplikasi mereka.

Berita utama datang dari Tom’s Hardware, mengonfirmasi bahwa AI PC akan mampu menjalankan “lebih banyak elemen Copilot,” asisten chatbot AI Microsoft, “secara lokal di klien.” Saat ini, Copilot mengandalkan pemrosesan sisi server bahkan untuk permintaan kecil, menimbulkan latensi jika pengguna membuat permintaan informasi yang luas, namun tidak terlalu parah jika pengguna hanya ingin mengubah pengaturan atau mendapatkan jawaban dasar. Menjalankan model AI generatif secara lokal juga dapat meningkatkan privasi pengguna, sehingga memungkinkan untuk memanfaatkan perangkat lunak yang dilengkapi AI tanpa secara otomatis mengirimkan informasi ke perusahaan yang akan menggunakannya untuk pelatihan model lebih lanjut.

Saat ini, Windows tidak banyak menggunakan NPU lokal, karena sebagian besar PC saat ini tidak memilikinya. Lain halnya dengan sistem operasi Apple dan Google yang sama-sama menggunakan NPU untuk contoh fitur pemrosesan gambar dan audio yang lebih luas, termasuk pengenalan wajah dan pengenalan objek, OCR, transkripsi & terjemahan langsung, dan banyak lagi.

Intel juga mengatakan bahwa Microsoft akan mewajibkan penggunaan modul NPU bawaan di AI PC yang mampu mencapai kecepatan 40 triliun operasi per detik (TOPS) sebagai persyaratannya. Intel, AMD dan Qualcomm biasanya menggunakan TOPS sebagai metrik kinerja tinggi saat membandingkan modul NPU mereka, chip laptop Intel Meteor Lake dapat menjalankan 10 TOPS, sedangkan chip AMD Ryzen 7040 dan 8040 masing-masing mencapai 10 TOPS dan 16 TOPS.

Qualcomm berhasil menyalip Intel dan AMD dalam pembuatan modul NPU yang cocok untuk AI PC, terutama untuk menjalankan Copilot secara lokal. Prosesor Snapdragon X yang telah disiapkan oleh Qualcomm dianggap sebagai penantang utama kekuatan chip M Series buatan Apple, yang sama-sama berbasis ARM alih-alih x86.

Secara keseluruhan, TOPS hanyalah salah satu metrik kinerja yang disederhanakan. Seperti ketika menggunakan FLOPS untuk membandingkan kinerja grafis, ini tidak tepat dan tidak akan menangkap variasi dalam cara setiap NPU menangani tugas yang berbeda. Dan Windows versi ARM masih memiliki masalah kompatibilitas perangkat lunak dan perangkat keras yang dapat terus menghambatnya.