Designing Implicit Interfaces for Physiological Computing: Guidelines and Lessons Learned Using fNIRS

Designing Implicit Interfaces for Physiological Computing: Guidelines and Lessons Learned Using fNIRS

ERIN TREACY SOLOVEY, Drexel University
DANIEL AFERGAN, Tufts University
EVAN M. PECK, Bucknell University
SAMUEL W. HINCKS and ROBERT J. K. JACOB, Tufts University

Abstract

A growing body of recent work has shown the feasibility of brain and body sensors as input to interactive systems. However, the interaction techniques and design decisions for their effective use are not well defined. We present a conceptual framework for considering implicit input from the brain, along with design principles and patterns we have developed from our work. We also describe a series of controlled, offline studies that lay the foundation for our work with functional near-infrared spectroscopy (fNIRS) neuroimaging, as well as our real-time platform that serves as a testbed for exploring brain-based adaptive interaction techniques. Finally, we present case studies illustrating the principles and patterns for effective use of brain data in human–computer interaction. We focus on signals coming from the brain, but these principles apply broadly to other sensor data and in domains such as aviation, education, medicine, driving, and anything involving multitasking or varying cognitive workload.

Categories and Subject Descriptors: H.5.2 [Information Interfaces and Presentation (e.g., HCI)]: User
Interfaces
General Terms: Human Factors
Additional Key Words and Phrases: Brain–computer interfaces, physiological computing, implicit interfaces

ACM Reference Format:
Erin T. Solovey, Daniel Afergan, Evan M. Peck, Samuel W. Hincks, and Robert J. K. Jacob, 2015. Designing implicit interfaces for physiological computing: Guidelines and lessons learned using fNIRS. ACM Trans.
Comput.-Hum. Interact. 21, 6, Article 35 (January 2015), 27 pages.

DOI: http://dx.doi.org/10.1145/2687926

Dikaji Oleh : Irwan Harianto Lumbanraja - G64144027

Berkembangnya sistem komputer menyebabkan peran dan harapan manusia pada sistem komputer berubah juga, dan dengan teknologi terbaru sekarang ini, diharapkan sistem human-computer menjadi efektif dan efisien. Perkembangan komputer juga menyebabkan tuntutan untuk menghasilkan data semakin meningkat, tetapi sistem komputer memiliki kemampuan terbatas untuk mendeteksi informasi yang alami dan mudah yang dihasilkan oleh manusia.

 Functional near-infrared spectroscopy (fNIRS) adalah jenis teknologi neuroimaging fungsional yang menawarkan metode yang relatif non-invasif, aman, portabel, murah dan pemantauan langsung dan tidak langsung dari aktivitas otak . Dengan mengukur perubahan dalam cahaya inframerah-dekat, memungkinkan para peneliti untuk memantau aliran darah di bagian depan otak .Teknik ini masih baru, sehingga belum banyak digunakan dalam penelitian, tetapi menunjukkan hasil yang menjanjikan dalam studi yang dilakukan.

Untuk menyimpulkan perubahan nalar/persepsi user secara otomatis dan real-time, peneliti telah mengeksplorasi data, dan lingkungan untuk menilai user. Teknik brain imaging and brain sensing bertujuan untuk  melihat perubahan aktivitas otak selama bekerja dan menjadi alat yang realistis untuk penelitian Human Computer Interaction (HCI). Dengan otak, tubuh, perilaku, serta sensor memungkinkan untuk menangkap perubahan user secara real-time.

Jurnal ini, menyajikan kerangka konseptual untuk mempertimbangkan input implisit dari otak, bersama dengan prinsip dan pola desain yang telah dikembangkan yang berasal dari  functional near-infrared spectroscopy (fNIRS) brain sensing sistem interaktif. Untuk memulainya yaitu dengan mendeskripsikan rangkaian yang dikendalikan, mendeskripsikan status nalar/persepsi yang dapat diukur dengan analisis data fNIRS. Peniliti kemudian menjelaskan platform real-time yang telah dibangun yang dapat mengklasifikasikan status nalar/persepsi user berdasarkan data otak secara real-time dan yang berfungsi sebagai testbed yang berbasis otak.

Pada jurnal ini, dideskripsikan bahwa dalam merancang sistem interaktif, peneliti menggunakan functional near-infrared spectroscopy (fNIRS) untuk mengatasi serta melengkapi beberapa kelemahan dari sistem neuroimaging untuk pengaturan HCI. Jurnal ini menjelaskan kelayakan dan potensi fNIRS untuk HCI, serta platform real-time yang telah dibangun untuk mempelajari sistem tersebut. Dengan sistem ini, data aktivitas otak dapat digunakan sebagai input secara terus menerus untuk sistem interaktif, sehingga membuat sistem ini lebih sinkron dengan user dan menyediakan bantuan dan dukungan yang sesuai bila diperlukan. Untuk itu user perlu beradaptasi, dan untuk memfasilitasi itu, maka disajikan kerangka konseptual dengan prinsip-prinsip dan pola untuk merancang interface yang efektif, desain masukan implisit, seperti informasi kognitif yang berasal dari alat neuroimaging yang peneliti kembangkan dan dievaluasi menggunakan input fNIRS untuk lebih mendukung user.

Implisit dari otak pasif dan interface komputer akan meningkatkan bandwidth antara user dan sistem komputer tanpa pekerjaan tambahan pada bagian pengguna. Ini merupakan langkah awal menuju komputer yang bisa menafsirkan status nalar/persepsi pengguna dan dapat beradaptasi.

VISIBILITY OF SYSTEM STATUS - JAMILIN.COM

Berdasarkan prinsip HE ini, desain antarmuka dari suatu sistem harus memberikan informasi penggunan sedang beradi dimana atau navigasi. Pengguna harus mendapatkan feedback dari setiap "aksi" yang dilakukan.

Untuk itu, saya akan membahas tentang bagaimana VISIBILITY OF SYSTEM STATUS dari website jamilin.com. Perhatikan screenshot dari halaman beranda jamilin.com berikut ini.

Gambar 1. "Home" Jamilin.com

Masalah :

Perhatikan gambar home tersebut, pada gambar tersebut tidak terdapat navigasi, dimana fungsi navigasi ini dapat membantu user untuk mengetahui sedang dimana ia berada.

---

Pada halaman tersebut tidak terdapat alah bantu "search", dimana fungsi search ini sangat membantu user  untuk mencari apa yang user butuhkan.

Solusi :

Seharusnya navigasi dan alat bantu "search" harus ada, karena akan sangat membantu user, hal ini juga dikarenakan banyaknya menu-menu yang terdapat pada website tersebut. Dan juga kalau user "tersesat" maka user dapat mengetahui dimana dia sekarang berada dengan adanya navigasi. Untuk, alat bantu "search" itu sangat membatu user dalam melakukan pencarian.

Severity Rating / Peringkat keparahan : Merupakan penilaian berupa peringkat 0-4
     0 : Saya tidak setuju, tidak menjadi masalah.
     1 : Tidak perlu diperbaiki, kecuali tersedia waktu tambahan untuk project
     2 : Permasalahan minor, prioritas rendah (low priority)
     3 : Permasalahan mayor, prioritas tinggi (high priority)
     4 : Penting untuk diperbaiki sebelum product di realease

     Severity rating / peringkat keparahan untuk beberapa permasalahan ini adalah : 3 

ERROR PREVENTION - JAMILIN.COM

Berdasarkan prinsip HE ini, sistem atau aplikasi harus mampu menangani kesalahan, sebelum pengguna melakukan kesalahan.

Untuk itu, saya akan membahas tentang bagaimana ERROR PREVENTION dari website jamilin.com. Perhatikan screenshot dari halaman beranda jamilin.com berikut ini.

Gambar 1. Error Prevention

Gambar 2. Menu Youth Serum Sample

Gambar 3. Page not found

Masalah :

Perhatikan gambar 1, pada gambar tersebut terdapat fungsi sign in, dimana ketika saya mencoba fungsi ini dengan tidak memasukkan email dan password, website tidak melakukan penanganan kesalahan tetapi malah kembali ke halaman ini lagi.

---

Perhatikan gambar 2 dan 3, pada gambar 2 saya memilih menu "Youth Serum Sample", dan website malah menampilkan gambar3, atau dengan kata lain halaman dari menu "Youth serum sample" tidak ditemukan.

Solusi :

Harusnya untuk masalah penanganan sign in ada error prevention, dimana ketika user tidak memasukkan email dan password, sistem atau web harus menanganinya atau dengan kata lain sistem menampilkan javascript "Please fill field email and password".

Severity Rating / Peringkat keparahan : Merupakan penilaian berupa peringkat 0-4
     0 : Saya tidak setuju, tidak menjadi masalah.
     1 : Tidak perlu diperbaiki, kecuali tersedia waktu tambahan untuk project
     2 : Permasalahan minor, prioritas rendah (low priority)
     3 : Permasalahan mayor, prioritas tinggi (high priority)
     4 : Penting untuk diperbaiki sebelum product di realease

     Severity rating / peringkat keparahan untuk beberapa permasalahan ini adalah : 3 

MATCH BETWEEN SYSTEM AND THE REAL WORLD - JAMILIN.COM

Berdasarkan prinsip HE ini, desain antarmuka dari suatu sistem harus menggunakan bahasa, icon, logo, konsep yang sesuai dengan kebiasaan sehari-hari atau dengan kata lain, sudah familiar dengan user. Hal ini penting dilakukan karena hal ini dapat memudahkan user dalam menggunakan suatu aplikasi atau sistem.

Untuk itu, saya akan membahas tentang bagaimana MATCH BETWEEN SYSTEM AND THE REAL WORLD dari website jamilin.com. Perhatikan screenshot dari halaman beranda jamilin.com berikut ini.

Gambar 1. Menu yang tidak familiar bagi pengguna

Gambar 2. Menu yang tidak familiar bagi pengguna

Masalah :

Perhatikan gambar 1, pada gambar tersebut terdapat penamaan menu yang tidak familiar bagi pengguna, maka karena itu pengguna perlu mencoba menu tersebut.

---

Setelah saya mencobanya, ternyata ada bagian submenu dari "Jami Lin's Musings", anehnya, dalam dropdown menu tersebut terdapat submenu "welcome home" yang biasanya selalu menjadi halaman pertama setiap aplikasi atau sistem dijalankan. Setelah saya mencobanya, ternyata submenu tersebut mengarah ke halaman itu juga. Hal ini sangat "aneh" dan mungkin sangat menjengkelkan bagi user. Dan juga sub-sub menu dari menu tersebut tidak relevan dengan penamaan induk menu nya "Jami Lin's Musings". Perhatikan gambar 2, sub-sub menu tersebut tidak menggambarkan maksud dari menu "Jami Lin's Musings".

Solusi :

Harusnya untuk penamaan menu, harusnya menggunakan bahasa yang sudah familiar bagi pengguna. Maksudnya, pengguna tidak kebingungan untuk menggunak menu-menu tersebut. Dan juga seharusnya, "home" tidak menjadi submenu disuatu aplikasi atau web, harusnya ketika pengguna mengakses web atau aplikasi, sebaiknya langsung redirect ke halaman "home". Penggunaan Icon juga dapat membantu agar user dapat mengerti maksud dari menu-menu tersebut dan penggunaannya juga harus relevan dengan tujuan dari menu tersebut.

Severity Rating / Peringkat keparahan : Merupakan penilaian berupa peringkat 0-4
     0 : Saya tidak setuju, tidak menjadi masalah.
     1 : Tidak perlu diperbaiki, kecuali tersedia waktu tambahan untuk project
     2 : Permasalahan minor, prioritas rendah (low priority)
     3 : Permasalahan mayor, prioritas tinggi (high priority)
     4 : Penting untuk diperbaiki sebelum product di realease

     Severity rating / peringkat keparahan untuk beberapa permasalahan ini adalah : 3 

CONSISTENCY AND STANDARDS - JAMILIN.COM

Berdasarkan prinsip HE ini, desain antarmuka sistem harus konsisten dalam bahasa, ukuran button, design layout dan situasi lainnya dalam sebuah situs web.
Untuk itu, saya akan membahas tentang bagaimana CONSISTENCY AND STANDARDS dari website jamilin.com. Perhatikan screenshot dari halaman beranda jamilin.com berikut ini.

Gambar 1. Penulisan dropdown menu yang tidak konsisten

Gambar 2. Desain layout tidak konsistensi

Masalah :

Perhatikan gambar 1, pada gambar tersebut terdapat penamaan dropdown menu yang tidak konsisten, dimana dropdown menu "LOOK YOUNGER serums" dan "CRYSTAL Activated Shirts" ditulis dengan menggunakan format penulisan yang berbeda dengan dropdown menu lainnya. Dimana format penulisan dropdown menu lainnya menggunakan format Capitalize Each Word, sementara dua dropdown menu tersebut tidak menggunakan format penulisan yang sama.

---

Perhatikan gambar 2, gambar tersebut merupakan desain layout dari dropdown menu "LOOK YOUNGER Serums". Ketika user masuk ke menu tersebut, desain layoutnya tidak konsisten dengan "Home" dari website tersebut. Hal ini sangat mengganggu user. Dimana, pada halaman "Home" menggunakan background warna coklat, sementara pada menu "LOOK YOUNGER Serums" menggunakan background warna biru.

Solusi :
Seharusnya penulisan dropdown menu harus konsisten, maksudnya jika ditulis dengan Capitalize Each Words maka semuanya harus ditulis dengan Capitalize Each Words. Desain layout harus konsisten, sehingga tidak mengganggu user dan mungkin akan membingungkan user, dan user mungkin akan menganggap itu bukan bagian dari website tersebut. 

Severity Rating / Peringkat keparahan : Merupakan penilaian berupa peringkat 0-4
     0 : Saya tidak setuju, tidak menjadi masalah.
     1 : Tidak perlu diperbaiki, kecuali tersedia waktu tambahan untuk project
     2 : Permasalahan minor, prioritas rendah (low priority)
     3 : Permasalahan mayor, prioritas tinggi (high priority)
     4 : Penting untuk diperbaiki sebelum product di realease

     Severity rating / peringkat keparahan untuk beberapa permasalahan ini adalah : 3

AESTHETIC AND MINIMALIST DESIGN - JAMILIN.COM

Berdasarkan prinsip HE ini, sebuah sistem harus memiliki desain yang minimalis dan dapat menarik minat pengguna. Maksudnya adalah user interface dari suatu sistem tidak boleh mengandung informasi yang tidak relevan dengan tujuan utama dari sistem atau informasi yang tidak dibutuhkan dan juga desain dari sistem tidak terlalu rumit.

Untuk itu, saya akan membahas tentang bagaimana AESTHETIC AND MINIMALIST DESIGN dari website jamilin.com. Perhatikan screenshot dari halaman beranda jamilin.com berikut ini.

Gambar 1. Halaman Beranda

Gambar 2. Lanjutan Halaman Beranda

Gambar 3. Lanjutan Halaman Beranda

Masalah :
Perhatikan gambar diatas, pada gambar tersebut banyak sekali informasi yang tidak relevan ditampilkan. Seperti yang ditunjukkan oleh gambar panah biru pada gambar 1 dan panah merah pada gambar 2. Ini akan sangat mengganggu pengguna yang mengunjugi website tersebut dan akan mempengaruhi fokus user pada halaman yang dikunjungi.

---

Desain pada halaman beranda website jamilin.com sangat rumit, banyak terdapat space yang kosong. Ketika user masuk ke website ini maka tidak akan menarik minat dari user tersebut. Pada gambar 1, terdapat logo facebook, tetapi penulisannya tidak rata. Desainnya tidak menarik sama sekali. Pengaturan menu-menu juga tidak tertata dengan baik

Solusi :
Seharusnya informasi yang tidak relevan dengan websitenya tidak perlu ditampilkan, seperti yang ditunjukkan panah biru pada gambar 1, sebaiknya itu dihapus saja. Logo dan penulisan yang ditunjukkan panah merah pada gambar 1, sebaiknya dibuat rata. Space-space yang kosong seharusnya digunakan agar pengaturan menu-menu websitenya dapat diatur dengan baik.

Severity Rating / Peringkat keparahan : Merupakan penilaian berupa peringkat 0-4
     0 : Saya tidak setuju, tidak menjadi masalah.
     1 : Tidak perlu diperbaiki, kecuali tersedia waktu tambahan untuk project
     2 : Permasalahan minor, prioritas rendah (low priority)
     3 : Permasalahan mayor, prioritas tinggi (high priority)
     4 : Penting untuk diperbaiki sebelum product di realease

     Severity rating / peringkat keparahan untuk beberapa permasalahan ini adalah : 3

Visualisasi Informasi : Jumlah Koperasi Aktif Menurut Provinsi, 2010–2013

Berdasarkan data yang terdapat pada Buku Statistik Indonesia 2014 yang diterbitkan Badan Pusat Statistik pada halaman 414, Jumlah Koperasi Aktif Menurut Provinsi, 2010–2013 meningkat setiap tahunnya. Perkembangan Koperasi di Indonesia mencapai 143117 pada tahun 2013.

Berdasarkan data tersebut, saya akan memvisualisasikan data tersebut sehingga data lebih menarik dan lebih mudah dimengerti oleh pembaca. Dalam memvisualisasikan data ini, saya menggunakan tools infogr.am. Dalam memvisualisasikan data ini, terlebih dahulu saya akan menentukan visual variabel-variabel yang akan saya gunakan untuk memvisualisasikan data ini. Sebelumnya, saya akan menjelaskan apa itu visual variabel. Visual variable merupakan variable yang digunakan untuk membedakan unsur yang diwakili pada setiap simbol, atau variabel untuk menampilkan informasi secara grafis. 
Dalam hal ini, variabel yang saya gunakan adalah variabel tahun, terdiri dari tahun 2010-2013, variabel provinsi, yaitu seluruh provinsi yang terdapat di Indonesia. Saya juga, memisahkan provinsinya berdasarkan pulau. Misal; untuk pulau sumatera terdapat beberapa provinsi, contoh : Aceh, Sumatera Utara, Sumatera Barat dan lain sebagainya.
Berikut hasil visualisasi data yang telah saya buat.

Jumlah Koperasi Aktif Di Indonesia Tahun 2010–2013 | Create infographics

Berdasarkan informasi diatas, dapat disimpulkan bahwa, perkembangan Koperasi Aktif di Indonesia mengalami peningkatan dari tahun 2010 sampai tahun 2013.

Pteromys : Interactive Design and Optimization of Model Airplanes

Merupakan teknik baru untuk merancang pesawat glider yang dapat terbang. Sifat aerodinamis dari pesawat glider tergantung pada bentuknya. Teknik ini merepresentasikan pesawat glider yang dapat terbang pada real condition, dengan menggunakan metode data-driven. Untuk melakukannya, dibutuhkan set glider, lintasan penerbangan,dan kamera. Ini jauh lebih mudah dari pada sistem wind tunnel, dengan menggunakan sistem ini, kita dapat membuat model pesawat yang efisien. 

Teknik ini, memungkinkan pengguna yang masih newbie, dapat mendesain pesawat. Teknik ini mensimulasikan dan memvisualisasikan lintasan penerbangan pesawat selama pembuatan desainnya. Teknik ini, memfasilitasi untuk dapat membuat desain pesawat yang kreatif, tapi belum fungsional. Dalam tahap persiapan offline, kita merancang lintasan penerbangan dari sampel set glider yang menghubungkan sayap pesawat. Dalam tahap online, pengguna dapat merancang pesawat dan sistem mensimulasikan dan mengoptimalkannya secara real -time.

Sumber: http://www.nobuyuki-umetani.com/GliderDesign/2014_siggraph_GliderDesign.html 

                https://www.youtube.com/watch?v=TgB-nymHMxQ

FIFA 15, Feel The Game

Sepak bola, olahraga yang satu ini memang punya penggemar segudang di seluruh dunia. Tak peduli usia, gender dan dari kalangan apapun, sepak bola seolah menjadi bagian hidup yang tak terpisahkan. Hal ini diperkuat dengan banyaknya event sepak bola yang diadakan, seperti Piala Dunia, event yang diadakan setiap empat tahun sekali, dimana semua mata dari seluruh penjuru dunia akan tertuju pada event akbar tersebut. Dengan animo seperti itu, tidak heran jika jenis olahraga ini cukup diminati juga dalam bentuk video game.

Contohnya saja, EA Sport untuk seri FIFA yang sudah mereka rilis sejak tahun 1993, atau Konami dengan Pro Evolution Soccer. Khusus seri FIFA, seri ini tidak pernah absen setiap tahunnya dan tahun ini EA Sport merilis game sepak bola terbaru mereka, yaitu FIFA 15 dengan tajuk Feel The Game. EA Sport berhasil menghadirkan berbagai peningkatan yang signifikan pada game FIFA 15. Berikut keunggulan FIFA 15 dari game sebelumnya.

More Smart and Responsive

Salah satu fitur utama yang diusung oleh game FIFA 15 ini adalah menghadirkan karakter pemain yang lebih cerdas dari sebelumnya. Karakter pemain dalam game FIFA 15 ini akan mengingat bagaimana rekan satu tim mereka berinteraksi dengan mereka sepanjang pertandingan berlangsung untuk menghasilkan kerjasama tim yang lebih baik dan realistis.

Karakter pemain di game FIFA 15 juga lebih responsif dari sebelumnya. Hal ini akan membuat para pemain game FIFA 15 serasa dibawa pada pertandingan sesungguhnya di TV. Hal ini juga didukung dengan kemampuan emosi dan reaksi yang realistis dari masing-masing karakter dalam game FIFA 15.

Pada FIFA 14, kecenderungannya penjaga gawang hanya sebagai “boneka” dari benteng pertahanan terakhir. Apalagi ketika pemain lawan sudah berhadapan satu lawan satu dengan kiper, peluang untuk mencetak gol bisa saya katakan sebesar 75%. Semua hal tersebut seakan-akan benar-benar diperbaharui pada FIFA 15. Setidaknya persentase mencetak gol sekarang turun menjadi 40%. Benar, mencetak gol sekarang akan lebih sulit karena kiper yang cukup tangguh, tetapi saya tidak mengatakan bahwa peluang kamu tertutup sama sekali ketika berhadapan satu lawan satu dengan kiper.

Penjaga gawang pada FIFA 15 bukan lagi menjadi boneka, tetapi seperti pribadi yang benar-benar hidup. Gerakannya menangkis bola terjangan lawan menjadi lebih luwes dan beragam seperti menggunakan kaki, menangkis sambil terbang, dan lainnya. Tidak heran, jika penjaga gawang sekarang memiliki peranan penting yang bahkan bisa menyelamatkan kamu dari kekalahan walaupun kontrol yang diberikan kepada kamu untuk mengendalikannya cukup minim. Melaui fitur ini, pengalaman bermain bola semakin realistis saja.

Visualization and Atmosphere The Game

Terlihat lebih sinematik

Detail pertandingan yang kini terlihat lebih realistis

Secara visual, EA Sport memang mampu membuat FIFA 15 tampil menjadi game simulasi sepak bola yang memanjakan mata. EA Sport memperhatikan hingga hal-hal terkecil demi mewujudkan sebuah atmosfer yang mendekati kenyataan. Sebut saja rumput di lapangan yang nampak detail, bergoyang, dan bahkan bisa rusak seiring kerasnya pertandingan. Singkatnya, bukan lagi sekadar karpet berwarna hijau yang digelar dari satu gawang ke gawang lainnya.

Rumput yang kelihatan lebih realistis

Rumput-rumput kelihatan terangkat akibat tendangan Wayne Rooney. Ini merupakan salah satu bukti bahwa EA Sport memperlihatkan hingga hal-hal kecil.

Seragam pemain bisa kotor.

Penonton yang merupakan salah satu faktor penting untuk mewujudkan suasana layaknya pertandingan sesungguhnya pun turut menjadi fokus pengembangan EA Sport. Baik penampilan maupun reaksi mereka dalam menanggapi jalannya pertandingan cukup beragam, dan eksplosif. Jika Anda bermain sebagai tuan rumah dimana para fans tumpah ruah memenuhi stadion, saat-saat mencetak gol menjadi yang paling membuat adrenaline bergejolak. Apalagi, ketika gol terjadi kamera bergetar seakan-akan akibat teriakan menggelegar dari para penonton.

Pemain memasuki lapangan.

Semangat penonton membuat pertandingan semakin membara.