JAKARTA- Apple kembali menunjukkan ambisinya di ranah kecerdasan buatan.
Penelitian terbaru perusahaan mengungkap bagaimana model bahasa besar (LLM) dapat memadukan data audio dan gerakan untuk memahami aktivitas pengguna dengan lebih akurat, tanpa mengekspose data mentah dan tetap menjaga privasi.
Dalam makalah berjudul "Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition", para peneliti menjelaskan pendekatan baru: audio diproses oleh model kecil menjadi deskripsi teks singkat, sementara sensor IMU (accelerometer dan gyroscope) memprediksi aktivitas.
Semua input ini kemudian dianalisis oleh LLM, seperti Gemini 2.5 Pro dan Qwen 32B, untuk mengklasifikasikan aktivitas sehari-hari secara akurat.
Hasil eksperimen menunjukkan kemampuan zero-shot dan one-shot LLM untuk mengenali aktivitas rumah tangga maupun olahraga, mulai dari memasak, mencuci piring, bermain basket, hingga berinteraksi dengan hewan peliharaan.
Menariknya, hanya dengan satu contoh, performa model meningkat secara signifikan.
Apple menggunakan dataset Ego4D, berisi rekaman first-person dari berbagai aktivitas.
Kombinasi audio, data gerakan, dan konteks membuat prediksi LLM konsisten tepat, bahkan ketika sebagian sensor tidak tersedia.
Pendekatan ini membuka potensi baru untuk:
Pemantauan kesehatan dan kebiasaan sehari-hari
Fitur keselamatan dan analisis perilaku pengguna
Implementasi AI multimodal tanpa membebani memori atau komputasi perangkat