Peneliti CMU menunjukkan potensi pelacakan aktivitas menjaga privasi menggunakan radar – TechCrunch

0
89


Bayangkan jika Anda dapat menyelesaikan / menghidupkan kembali pertengkaran rumah tangga dengan bertanya kepada speaker pintar Anda kapan ruangan terakhir dibersihkan atau apakah tempat sampah sudah dikeluarkan?

Atau – untuk kasus penggunaan yang lebih sehat – bagaimana jika Anda dapat meminta pembicara untuk menghitung repetisi saat Anda melakukan squat dan bench press? Atau beralih ke mode ‘pelatih pribadi’ penuh – meneriakkan perintah untuk menjajakan lebih cepat saat Anda memutar sepeda latihan tua yang berdebu (siapa yang membutuhkan Peloton!).

Dan bagaimana jika pembicara cukup pintar baru tahu Anda sedang makan malam dan mencoba menyelipkan sedikit musik suasana hati?

Sekarang bayangkan jika semua kecerdasan pelacakan aktivitas itu disadap tanpa ada kamera yang terhubung yang dicolokkan di dalam rumah Anda.

SEBUAHsedikit lagi penelitian menarik dari para peneliti di Universitas Carnegie Mellon Grup Antarmuka Masa Depan membuka kemungkinan semacam ini – mendemonstrasikan pendekatan baru untuk pelacakan aktivitas yang tidak mengandalkan kamera sebagai alat penginderaan.

Memasang kamera yang terhubung di dalam rumah Anda tentu saja merupakan risiko privasi yang mengerikan. Itulah sebabnya para peneliti CMU mulai menyelidiki potensi penggunaan radar doppler gelombang milimeter (mmWave) sebagai media untuk mendeteksi berbagai jenis aktivitas manusia.

Tantangan yang perlu mereka atasi adalah bahwa meskipun mmWave menawarkan “kekayaan sinyal yang mendekati mikrofon dan kamera”, sebagaimana mereka katakan, kumpulan data untuk melatih model AI untuk mengenali aktivitas manusia yang berbeda karena gangguan RF tidak tersedia (sebagai visual data untuk pelatihan model AI jenis lain).

Tidak mau terhalang, mereka mulai mensinkronkan data doppler untuk memberi makan model pelacakan aktivitas manusia – merancang pipeline perangkat lunak untuk melatih model AI pelacakan aktivitas yang menjaga privasi.

Hasilnya bisa dilihat di video ini – di mana model ditampilkan dengan benar mengidentifikasi sejumlah aktivitas berbeda, termasuk bersepeda, tepuk tangan, melambai, dan jongkok. Murni dari kemampuannya untuk menafsirkan sinyal mmWave yang dihasilkan gerakan – dan murni telah dilatih pada data video publik.

“Kami menunjukkan bagaimana terjemahan lintas domain ini bisa berhasil melalui serangkaian hasil eksperimental,” tulis mereka. “Secara keseluruhan, kami yakin pendekatan kami adalah batu loncatan penting untuk mengurangi beban pelatihan secara signifikan seperti sistem penginderaan manusia, dan dapat membantu penggunaan bootstrap dalam interaksi manusia-komputer.”

Peneliti Chris Harrison mengonfirmasi Penginderaan berbasis radar doppler mmWave tidak bekerja untuk “hal-hal yang sangat halus” (seperti melihat ekspresi wajah yang berbeda). Tetapi dia mengatakan itu cukup sensitif untuk mendeteksi aktivitas yang kurang kuat – seperti makan atau membaca buku.

Kemampuan deteksi gerakan radar doppler juga dibatasi oleh kebutuhan akan garis pandang antara subjek dan perangkat keras penginderaan. (Aka: “Ini belum bisa menjangkau sekitar sudut.” Yang, bagi mereka yang peduli tentang kekuatan robot masa depan dalam mendeteksi manusia, pasti akan terdengar sedikit meyakinkan.)

Deteksi memang membutuhkan perangkat keras penginderaan khusus, tentunya. Tapi hal-hal sudah bergerak di depan itu: Google telah mencelupkan kakinya ke dalamnya, melalui proyek Sendirian – menambahkan sensor radar ke Pixel 4, misalnya.

Google Nest Hub juga mengintegrasikan pengertian radar yang sama untuk melacak kualitas tidur.

“Salah satu alasan mengapa kami belum melihat lebih banyak adopsi sensor radar di ponsel adalah kurangnya kasus penggunaan yang menarik (seperti masalah ayam dan telur),” kata Harris kepada TechCrunch. “Penelitian kami tentang deteksi aktivitas berbasis radar membantu membuka lebih banyak aplikasi (misalnya, Siris yang lebih cerdas, yang tahu kapan Anda makan, atau membuat makan malam, atau membersihkan, atau berolahraga, dll.).”

Ditanya apakah dia melihat potensi yang lebih besar dalam aplikasi seluler atau tetap, Harris menganggap ada kasus penggunaan yang menarik untuk keduanya.

“Saya melihat kasus penggunaan di seluler dan non-seluler,” katanya. “Kembali ke Nest Hub… sensor sudah ada di dalam ruangan, jadi mengapa tidak menggunakannya untuk mem-bootstrap fungsi yang lebih canggih di speaker pintar Google (seperti perwakilan menghitung latihan Anda).

“Ada banyak sensor radar yang sudah digunakan di gedung untuk mendeteksi hunian (tapi sekarang mereka bisa mendeteksi kapan terakhir kali ruangan dibersihkan, misalnya).”

“Secara keseluruhan, harga sensor ini akan turun menjadi beberapa dolar segera (beberapa di eBay sudah sekitar $ 1), jadi Anda dapat memasukkannya ke dalam segala hal,” tambahnya. “Dan seperti yang ditunjukkan Google dengan produk yang ada di kamar tidur Anda, ancaman ‘masyarakat pengawas’ jauh lebih tidak mengkhawatirkan-beberapa dibandingkan dengan sensor kamera.”

Startup suka VergeSense sudah menggunakan perangkat keras sensor dan teknologi visi komputer untuk mendukung analitik real-time ruang dalam ruangan dan aktivitas untuk pasar b2b (seperti mengukur hunian kantor).

Tetapi bahkan dengan pemrosesan data gambar resolusi rendah secara lokal, masih ada persepsi risiko privasi di sekitar penggunaan sensor penglihatan – tentu saja di lingkungan konsumen.

Radar menawarkan alternatif untuk pengawasan visual yang mungkin lebih cocok untuk perangkat terhubung konsumen yang berisiko privasi seperti ‘cermin pintar‘.

“Jika diproses secara lokal, apakah Anda akan memasang kamera di kamar Anda? Kamar mandi? Mungkin saya pemalu, tapi saya pribadi tidak, ”kata Harris.

Dia juga menunjuk ke penelitian sebelumnya yang menurutnya menggarisbawahi nilai dari menggabungkan lebih banyak jenis perangkat keras penginderaan: “Semakin banyak sensor, semakin panjang aplikasi menarik yang dapat Anda dukung. Kamera tidak bisa menangkap semuanya, juga tidak bekerja dalam kegelapan. ”

“Kamera cukup murah akhir-akhir ini, jadi sulit bersaing di sana, meski radar sedikit lebih murah. Saya yakin keuntungan terkuat adalah pelestarian privasi, ”tambahnya.

Tentu saja memiliki perangkat keras penginderaan apa pun – visual atau lainnya – berpotensi menimbulkan masalah privasi.

Sensor yang memberi tahu Anda saat kamar tidur anak ditempati mungkin baik atau buruk tergantung pada siapa yang memiliki akses ke data, misalnya. Dan segala macam aktivitas manusia dapat menghasilkan informasi sensitif, tergantung pada apa yang terjadi. (Maksud saya, apakah Anda benar-benar ingin pengeras suara Anda tahu saat Anda berhubungan seks?)

Jadi meskipun pelacakan berbasis radar mungkin kurang invasif dibandingkan beberapa jenis sensor lainnya, bukan berarti tidak ada potensi masalah privasi sama sekali.

Seperti biasa, itu tergantung di mana dan bagaimana perangkat keras penginderaan digunakan. Meskipun demikian, sulit untuk membantah bahwa data yang dihasilkan radar cenderung kurang sensitif daripada data visual yang setara jika itu akan terpapar melalui pelanggaran.

“Sensor apa pun seharusnya secara alami memunculkan pertanyaan tentang privasi – ini adalah spektrum daripada pertanyaan ya / tidak,” Harris setuju. “Sensor radar biasanya kaya akan detail, tetapi sangat anonim, tidak seperti kamera. Jika data radar doppler Anda bocor secara online, akan sulit untuk merasa malu. Tidak ada yang akan mengenali Anda. Jika kamera dari dalam rumah Anda bocor secara online, ya… ”

Bagaimana dengan biaya komputasi untuk mensintesis data pelatihan, mengingat kurangnya data sinyal doppler yang segera tersedia?

“Ini bukan turnkey, tetapi ada banyak video besar yang bisa ditarik (termasuk hal-hal seperti Youtube-8M),” katanya. “Mengunduh data video dan membuat data radar sintetis jauh lebih cepat daripada harus merekrut orang untuk datang ke lab Anda untuk menangkap data gerakan.

“Seseorang secara inheren menghabiskan 1 jam untuk 1 jam data berkualitas. Padahal Anda dapat mengunduh ratusan jam rekaman dengan mudah dari banyak basis data video yang dikurasi dengan sangat baik saat ini. Untuk setiap jam video, kami membutuhkan waktu sekitar 2 jam untuk memprosesnya, tetapi itu hanya ada di satu mesin desktop yang kami miliki di lab ini. Kuncinya adalah Anda dapat memparalelkannya, menggunakan Amazon AWS atau yang setara, dan memproses 100 video sekaligus, sehingga throughputnya bisa sangat tinggi. ”

Dan sementara sinyal RF tidak memantulkan, dan melakukannya pada derajat yang berbeda dari permukaan yang berbeda (alias “interferensi multi-jalur”), Harris mengatakan sinyal yang dipantulkan oleh pengguna “sejauh ini merupakan sinyal dominan”. Yang berarti mereka tidak perlu memodelkan refleksi lain agar model demo mereka berfungsi. (Meskipun ia mencatat bahwa dapat dilakukan untuk lebih mengasah kemampuan “dengan mengekstraksi permukaan besar seperti dinding / langit-langit / lantai / furnitur dengan visi komputer dan menambahkannya ke dalam tahap sintesis”.)

“Itu [doppler] sinyal sebenarnya adalah level yang sangat tinggi dan abstrak, sehingga tidak terlalu sulit untuk memproses dalam waktu nyata (‘piksel’ jauh lebih sedikit daripada kamera). ” dia menambahkan. “Prosesor yang disematkan di mobil menggunakan data radar untuk hal-hal seperti pemecah tabrakan dan pemantauan titik buta, dan itu adalah CPU kelas bawah (tanpa pembelajaran mendalam atau apa pun).”

Penelitian ini dipresentasikan di konferensi ACM CHI, bersama dengan proyek Grup lainnya – disebut Pose-on-the-Go – yang menggunakan sensor smartphone untuk memperkirakan pose seluruh tubuh pengguna tanpa memerlukan sensor yang dapat dikenakan.

Peneliti CMU dari Grup juga ditunjukkan sebelumnya metode untuk penginderaan ‘rumah pintar’ dalam ruangan dengan harga murah (juga tanpa perlu kamera), serta – tahun lalu – menunjukkan bagaimana kamera smartphone dapat digunakan untuk memberikan asisten AI pada perangkat yang lebih paham kontekstual.

Dalam beberapa tahun terakhir mereka juga telah menyelidiki penggunaan vibrometri laser dan kebisingan elektromagnetik untuk memberi perangkat pintar kesadaran lingkungan dan fungsi kontekstual yang lebih baik. Penelitian menarik lainnya dari Grup termasuk penggunaan cat semprot konduktif untuk mengubah apa pun menjadi layar sentuh. Dan berbagai metode untuk memperluas potensi interaktif perangkat yang dapat dikenakan – seperti dengan menggunakan laser untuk memproyeksikan tombol virtual ke lengan pengguna perangkat atau menggabungkan perangkat yang dapat dikenakan lainnya (cincin) ke dalam campuran.

Masa depan interaksi komputer manusia tampaknya jauh lebih paham secara kontekstual – bahkan jika perangkat ‘pintar’ generasi saat ini masih dapat tersandung pada dasar-dasarnya dan tampak lebih dari sedikit bodoh.



Sumber

LEAVE A REPLY

Please enter your comment!
Please enter your name here