Mengenal Teknologi Deep Learning dan Sejarahnya

Manusia telah lama memimpikan mesin yang dapat "berfikir", bahkan sejak zaman Yunani kuno, seperti Talos dalam mitos Yunani kuno. Talos digambarkan sebagai automaton ( semacam robot) yang terbuat dari perunggu yang diciptakan untuk melindungi Eropa. Keingintahuan manusia terus berlanjut sampai komputer pertama kali ditemukan, para insinyur dan ilmuan bertanya-tanya apakah komputer suatu hari mampu "berfikir". Rasa ingin tahu tersebut telah melahirkan salah satu bidang ilmu komputer yang disebut kecerdasan buatan ( Artificial Intelligence ). Kecerdasan buatan adalah studi tentang teori dan pengembangan sistem komputer agar mampu melakukan tugas-tugas yang dahulu hanya dapat dilakukan oleh manusia.

Machine Learning

Dengan berkembangnya teknologi kecerdasan buatan, muncul salah satu cabang kecerdasan buatan yang memperoleh banyak perhatian dari para peneliti yang disebut machine learning. Machine Learning mempelajari teori agar komputer mampu "belajar" dari data, machine learning melibatkan berbagai disiplin ilmu seperti statistika, ilmu komputer, matematika dan bahkan neurologi. Salah satu algoritma machine learning yang menarik adalah jaringan saraf tiruan, seperti namanya jaringan saraf tiruan terinspirasi dari cara kerja otak manusia ( yang disederhanakan ). Secara intuisi mencari inspirasi untuk membuat mesin mampu "berfikir" dari cara kerja otak adalah langkah yang bagus sama halnya seperti ingin membuat alat yang mampu terbang dengan melihat cara kerja burung terbang.

Dalam salah satu model jaringan saraf tiruan yang disebut MLP ( multi layer perceptron ) dikenal istilah layer, beberapa neuron tiruan dikelompokan menjadi satu layer kemudian layer satu menjadi input bagi layer yang lain, MLP sebenarnya adalah model ( matematika ) yang terdiri dari komposisi-komposisi fungsi dari vektor ke vektor, model ini biasanya di-train menggunakan algortima optimisasi berbasis gradien seperti gradient descent, berbagai masalah muncul ketika model jaringan saraf tiruan memiliki banyak layer, salah satu masalah yang terkenal disebut the vanishing gradient, masalah ini muncul karena jaringan saraf tiruan dengan banyak layer sebenarnya adalah fungsi yang terdiri dari banyak komposisi fungsi sehingga ketika menghitung gradien terhadap parameter dari fungsi tersebut, kita harus menggukan aturan rantai yang menyebabkan gradien parameternya bernilai kecil sehingga algoritma gradient descent berjalan lambat.

Deep Learning

Pada tahun 2006, Geoffrey Hinton memperkenalkan salah satu varian jaringan saraf tiruan yang disebut deep belief nets, ide untuk men-train model jaringan saraf tiruan ini adalah dengan men-train dua layer kemudian tambahkan satu layer diatasnya, kemudian train hanya layer teratas dan begitu seterusnya. Dengan strategi ini kita dapat men-train model jaringan saraf tiruan dengan layer lebih banyak dari model-model sebelumnya. Paper ini merupakan awal populernya istilah deep learning untuk membedakan arsitektur jaringan saraf tiruan dengen banyak layer.

Setelah istilah deep learning populer, deep learning belum menjadi daya tarik yang besar bagi para peneliti karena jaringan saraf tiruan dengan banyak layer memiliki kompleksitas algoritma yang besar, sehingga membutuhkan komputer dengan spesifikasi tinggi, dan tidak efisien secara komputasi saat itu. Hingga pada tahun 2009 Andrew ng dkk memperkenalkan penggunaan GPU untuk deep learning melalui paper yang berjudul Large-scale Deep Unsupervised Learning using Graphics Processors. Dengan menggunakan GPU jaringan saraf tiruan dapat berjalan lebih cepat dibanding dengan menggunakan CPU. Dengan tersedianya hardware yang memadai perkembangan deep learning mulai pesat, dan menghasilkan produk-produk yang dapat kita nikmati saat ini seperti pengenal wajah, self-driving car, pengenal suara, dan lain lain.

Sumber: Deep learning book, The Star, Simon Osinder, Yee-Whye Teh and Geoffrey E. Hinton, "A fast learning algorithm for deep belief nets," in Neural Computation, 2006.