Iqbal Mahfudzi: Januari 2019

Review Jurnal

DEEP LEARNING FOR SEMANTIC SIMILARITY

Penulis : Adrian Sanborn, Jacek Skryzalin

Review oleh:

Achmad Ilham Faridl (50416062)
Daffa Arrafi P (51416662)
Iqbal Mahfudzi (53416561)

Abstrak

Mengevaluasi kemiripan semantik dua kalimat adalah tugas utama untuk pemahaman otomatis dari bahasa natural. Kami mendiskusikan masalah dari kemiripan semantic dan memperlihatkan bahwa penggunaan berulang dan jaringan saraf rekursif dapat menyediakan 16% sampai 70% peningkatan dari model dasar.

Inti dari jurnal

menilai program komputer “memahami” sepotong teks adalah tugas yang bersifat ambigu. menyaring tugas abstrak dari memahami teks untuk masalah konkrit dari menentukan apakah dua potongan dari teks memiliki arti yang mirip atau berbeda. Inilah tantangan dari “kemiripan semantik”.

Metode yang digunakan

Pada jurnal tersebut disebutkan bahwa penulis menggunakan metode deep learning dengan model jaringan syaraf berulang dan jaringan syaraf rekursif. Jaringan syaraf rekursif adalah model deep learning yang sering digunakan penerapan pada deep learning sampai natural language processing karena, tidak seperti jaringan syaraf berulang, mereka bisa mengambil keuntungan dari struktur linguistik yang dikenal. Sedangkan, Jaringan syaraf berulang adalah model deep learning yang kuat yang mana mangambil input urutan token, masing masing dimana digunakan untuk memperbarui kondisi tersembunyi.

Kelebihan

Metode deep learning bisa mengevaluasi kemiripan semantic dari dua kalimat yang dikumpulkan secara acak

Kekurangan

deep learning membutuhkan dataset yang sangat besar untuk dilatih, sedangkan kurangnya dataset yang sangat besar tersedia secara umum untuk satu tugas spesifik.

Kesimpulan

Model terbaik penulis, jaringan berulang dengan 100-dimensional vector kata dan 20% dropout, mengungguli semua baseline dengan margin substantial. Model terbaik penulis mencapai skor Pearson 0.560, sedangkan model terbaik dari tantangan SemEval mencapai skor pearson dengan rata rata 0.802. ada dua perbedaan penting antara pendekatan si penulis dan pendekatan dari tantangan SemEval yang membuat pendekatan si penulis lebih menantang. Pertama, penulis mengkonversikan tugas menjadi satu klasifikasi, mengelompokkan semua kemiripan nilai menjadi enam kategori. Kedua, model di dalam tantangan SemEval telah dilatih dan di coba kepada anak tugas berbeda secara individual, sedangkan model si penulis mempunyai tantangan dari mempelajari semua tugas secara serentak. Dengan begitu, perbandingan langsung dari dua kalimat bisa jadi tidak bersifat informatif. Dari tulisan tersebut dapat disimpulkan bahwa jaringan syaraf adalah metode yang efektif untuk memajukan pengertian komputasional dan kemiripan semantic.

Saran

Saran saya agar hanya tetap menggunakan vector kata jaringan 100-dimensional pada dropout 20% dikarenakan kapasitas yang lebih tinggi dilatih dengan dropout sehingga memiliki kinerja yang sedikit lebih baik.

TRANSLASI JURNAL

DEEP LEARNING UNTUK KEMIRIPAN SEMANTIK

Pendahuluan dan pekerjaan terkait

Tantangan mendasar dari pengolahan natural language adalah untuk memahami artian dari sepotong teks. Bagaimanapun juga, menilai program komputer “memahami” sepotong teks adalah tugas yang bersifat ambigu. Dengan demikian kami menyaring tugas abstrak dari memahami teks untuk masalah konkrit dari menentukan apakah dua potongan dari teks memiliki arti yang mirip atau berbeda. Inilah tantangan dari “kemiripan semantik”.

Meskipun masalah dari kemiripan semantic memiliki pernyataan yang sangat sederhana, kemiripan semantic mempunyai penerapan yang luas. Fakta ini adalah bukti bahwa pentingnya dan kesulitan dari masalah ini.

Penerapan : Penilaian otomatis – jawaban pendek

Penilaian pertanyaan jawaban pendek dengan test sangat membuang waktu dan mahal. Karena itu peneliti belakangan ini telah mengeksplor metode dari automasi penilaian essay.

Penerapan : Mesin Penerjemah

Meskipun model mesin penerjemah telah sukses pada tahun belakangan ini, tidak semua nya jelas bagaimana mereka seharusnya di evaluasi. Matriks evaluasi kemungkinan untuk mesin penerjemah termasuk penilaian error kata, skor NIST, skor BLEU, dan penilaian error terjemahan ( Callison-Burch 2006, Vilar 2007). Bagaimanapun juga, skema ini bersifat ad hoc dan hanya menyediakan gagasan kasar tentang apa yang merupakan “ Terjemahan Baik”. Kami mengusulkan bahwa sistem kemiripan semantic dapat mengevaluasi mesin penerjemah dengan mengukur kemiripan antara terjemahan mesin dengan standar yang sangat baik yang dapat dijadikan acuan.

Penerapan : Keterangan Gambar

Pada beberapa belakangan tahun ini. Automasi keterangan gambar telah menjadi area yang banyak dipelajari di computer vision dan machine learning (Pan 2004). Banyak system yang seperti itu bersifat generative; system mengambil gambar input dan menghasilkan beberapa kemungkinan output. Pengevaluasi kesamaan semantic fungsional akan menjadi berguna pada training dari system automasi keterangan gambar dengan menyediakan sebuah sistem dengan pengukuran dari mutu keterangan gambar yang dihasilkan.

Kerjaan sebelumnya

Jumlah penelitian pada kemiripan semantic telah bertambah pesat pada 5 tahun belakangan ini, Sebagian di dorong dengan kompetisi tahunan SemEval(Jurgens 2014). Hasil untuk tugas SemEval baru saja terpublish pada 5 juni, 2015. Hasil dan model dari tugas SemEval 2015 1 untuk kemiripan semantic dari pesan di twitter di deskripsikan di (Xu et al. 2015). Tinggi nya kesuksesan ASOBEK sistem untuk kemiripan semantic (Eyecioglu and Keller, 2015) menggunakan classifier SVM dengan kata leksikal sederhana tumpang tindih dan fitur character n-grams. Sistem MITRE (Zarrela et al., 2015) menggunakan jaringan syaraf tambahan berulang dengan fitur pencocokan string. Banyak sistem lain yang menggunakan variasi dari model yang terawasi menggunakan fitur seperti n-gram overlap, word overlap, edit distance, cosine similarity of sentence embeddings. Selain itu, hasil dari SemEval 2015 tugas 2, yang mana menugaskan model kita yang dilatih. Di deskripsikan di (Agirre et al., 2015) dengan model terbaik mencapai korelasi pearson 0.8015.

Pendekatan kita

Pada akhir beberapa tahun ini, melatih algoritma deep learning pada kumpulan teks telah muncul sebagai umum, pendekatan yang kuat, Tampil sebagaimana algoritma rancangan tangan berdasarkan dari penelitian dan penyetelan selama bertahun tahun. Dalam projek ini, kami menggunakan algoritma deep learning kontemporer untuk menentukan kemiripan semantik dari dua potongan teks umum. Meskipun kami dapat membuat sistem dengan performa lebih baik dengan cara melatih pada tugas tertentu (contohnya, keterangan gambar), sebaliknya kita mencari untuk membuat sistem yang mana dapat mengevaluasi kemiripan dari dua kalimat acak. Alas an untuk ini ada dua. Pertama, kurang nya dataset yang sangat besar tersedia untuk umum untuk satu tugas spesifik membuat ini menjadi sulit untuk menggunakan metode deep learning. Yang mana membutuhkan dataset yang sangat besar untuk dilatih. Yang lebih penting, kami rasa melatih untuk tugas tertentu tidak akan memperlihatkan luasnya untuk beberapa metode deep learning benar benar bisa mengevaluasi kemiripan semantik dari dua kalimat yang dikumpulkan dari asal yang acak.

Teknik Pendekatan

Teks dari tantangan kemiripan semantik yang cukup pendek, hanya terdapat kalimat individual, dan kadang kadang dari kalimat yang sangat pendek. Dengan demikian, model manapun yang terlatih hanya pada teks tersedia cukup terbatas. Untuk mengatasi keterbatasan ini. Kita mewakili word dengan vector L[]. Kita membangun vector kata ini menggunakan GloVe, model bilinear tertimbang yang mana memproduksi representasi kata terdistribusi berdasarkan penghitungan kejadian Bersama dalam kumpulan teks besar (Pennington et al., 2014). Khususnya kita menggunakan 50- atau 100- dimensi GloVe vector yang bekesimpulanlum terlatih pada Wikipedia dan Gigaword 5 dari http://nlp.stanford.edu/projects/glove/. Kami menggunakan vector kata yang belum terlatih karena ukuran yang relative kecil untuk dataset kami mencegah kami dari mempelajari vector kata secara langsung.

Kami melakukan percobaan dengan dua model deep learning: jaringan syaraf berulang(RNNs)(Mikolov 2011) dan jaringan syaraf rekursif (RNNs)(Socher 2011). Kedua jaringan syaraf mengambil set kata terstruktur atau token. Meskipun masing masing model memperlakukan inputnya berbeda beda, kami melatih kedua model untuk melaporkan kamingkinan bahwa sepasang kalimat yang diberikan adalah milik untuk masing masing kategori kemiripan.

Jaringan syaraf berulang.

Jaringan syaraf berulang adalah model deep learning yang kuat yang mana mangambil input urutan token, masing masing dimana digunakan untuk memperbarui kondisi tersembunyi. Secara konkrit, untuk urutan dari kata atau token (w1,w2,…,wn), kami menghitung

hi = f(U ·hi−1 + W ·L[wi] + b),

dimana U, W, dan b adalah parameter bersandarkan oleh model. Disini , f adalah fungsi non linear, di aplikasikan element-wise untuk vector dari argument tersebut. Untuk masing masing contoh latihan, kami mengatur h0menjadi vector nol.

Diberikan dua urutan kata atau token (w1,…,wn) dan (v1,…,vm), kami menggunakan persamaan diatas untuk menghasilkan dua vector tersembunyi hn

dan hn(v). pada akhirnya, kita menghasilkan vector, entri yang mewakili kemungkinan bahwa sepasang kalimat yang di miliki oleh ketegori kemiripan yang sesuai:

Dimana Ws dan bs adalah Batasan yang dipelajari oleh model kita, dan softmax adalah fungsi yang di definisikan pada k-dimensional vectors x dengan

Akhir nya, kita melatih model kita menggunakan cross-entry loss: diberikan sebuah vector dari kemungkinan p untuk melatih sepasang kalimat, jika kategori sesuai kemiripan benar pada index I dari p, model kita akan dikenakan loss L = -log pi+

Kami menginisialisasi entri dari U, W, dan Ws menggunakan Gaussian acak pada interval [0.01,+0,01], dan kita menginisialisasi b dan bs untuk menjadi vector nol.

Jaringan syaraf rekursif

Jaringan syaraf rekursif adalah model deep learning yang sering digunakan penerapan pada deep learning sampai natural language processing karena, tidak seperti jaringan syaraf berulang, mereka bisa mengambil keuntungan dari struktur linguistik yang dikenal. Dari pada bekerja untuk urutan token, jaringan syaraf rekursif mengambil pohon biner sebagai input. Daun dari pohon ini sesuai dengan kata dari kalimat yang diinput. Dan kami menyimpulkan pohon biner menggunakan uraian kalimat yang telah dihitung.

Untuk masing masing daun dengan kata ω, kami menugaskan vector GloVe L[ω]. Kemudian kami mengerjakan pohonnya, menghitung masing masing node N dengan child kiri NL dan child kanan NR vector menggunakan rumus.

Dimana WL , WR, dan b adalah parameter yang didasarkan pada model. Sebagai jaringan syaraf rekursif, ƒ adalah non fungsi linear, di terapkan element-wise pada vector dari argumennya.

Diberikan dua kalimat S1 dan S2, kita memakai model diatas untuk menghitung dua vector hs1 dan hs2. Deskripsi sisa dari model seluruhnya sejalan dengan dengan jaringan sayaraf berulang (dengan hn

diganti oleh hs1 dan hm(v) diganti oleh hs2).

Percobaan

Data

Untuk melatih dan mencoba sistem kemiripan semantic, kami akan menggunakan data dari SemEval-2015 task 2(Aggire et al., 2015), yang mana juga termasuk semua data dari task yang mirip di 2012, 2013, dan 2014. Dataset ini menyediakan sepasang kalimat Bersama dengan skor kemiripan semantic antara 0 sampai 5. Skor 5 menyatakan bahwa dua kalimat berarti sama; skor 0 menyatakan bahwa kalimat memiliki topik yang berbeda; dan skor menengah menyatakan jumlah variasi dari relevansi antara dua kalimat. standar acuan skor telah terkomputasi sebagai rata rata lebih dari 5 respon dari Amazon Mechanical Turk per sepasang kalimat.

Data dari masing masing tahun terpisah antara beberapa grup berbeda, didapatkan dari beberapa sumber. Untuk contoh, data 2015 terbagi menjadi 5 grup:

Keterangan gambar dari Flickr, sebagaimana di presentasikan di (Rashtchian et al., 2010), (1499 pasang kalimat).
Judul berita dari RSS feed dari European Mmedia Monitor, (1495 pasang kalimat)
Jawaban murid dipasangkan dengan referensi jawaban benar dari BEETLE corpus(Dzikovska et al., 2010), (1491 pasang kalimat).
Sepasang jawaban di kumpulkan dari Stack Exchange, (1942 pasang kata)
Forum diskusi tentang kepercayaan, dari DEFT Committed Belief Annotation dataset, (1904 pasang kalimat).

Dengan demikian, Total data pada tahun 2015 terdiri dari 8331 pasang kalimat. Data pada tahun 2014, 2013, dan 2012 masing masing terdiri dari 3750, 1500, and 2234 pasang kalimat. Untuk semua tugas(task), kemudian kami memisahkan data menjadi set train/dev/test terdiri 70/15/15% dari data.

Untuk mengenerate pohon parse dibutuhkan untuk jaringan syaraf rekursif, kami melatih CKY parser pada QuestionBank dan Penn treebanks menggunakan pyStatParser. Kemudian kami mengubah pohon parse ini menjadi pohon parse biner menggunakan heuristic sederhana( contoh penempatan tanda baca).

Evaluasi

Untuk menilai dan mengevaluasi sistem kami, pertama kami memisahkan skor kemiripan menjadi 6 kategori. Kemi memilih untuk mengevaluasi model kami memakai skor makro F1, kami memilih metrik evaluasi ini karena menangkap keinginan untuk model kami untuk menggolongkan masing masing kategori kemiripan dengan benar. Model seperti logistic regression bisa mendapatkan akurasi yang sangat tinggi dengan mempelajari prediksi yang sangat akurat pada dua dua skor yang sangat umum; bagaimanapun juga, model yang mengoptimalkan untuk metrik seperti akurasi akan gagal untuk menangkap nuansa penangkapan dari jarak skor kemiripan. Skor makro F1 dihitung dengan merata ratakan skor F1 untuk masing masing kategori individu.

Dimana, jika T P menunjukkan ukuran dari set yang positif benar, F Pmenunjukkan ukuran set yang positif salah, precision dan recall di definisikan oleh

Sebagai rata rata geometrisdari precision dan recall, skor F1 menghukum dengan berat kedua positif salah dan negative salah.

Model baseline

Untuk membangun kinerja baseline, kami melatih supervised model sederhana menggunakan tiga fitur: (1) kemiripan cosinus antara dua kalimat’ bag-of-words vectors, (2) jarak cosinus antara kalimat’ GloVe vectors (di definisikan sebagai rata rata dari vector kata kata untuk semua kata di dalam kalimat), dan (3) kemiripan jaccard antara set kata kata di dalam masing masing kalimat. Kami melatih pohon pengklasifikasi keputusan, pengklasifikasian regresi logistic, pengklasifikasian tetangga terdekat (menggunakan tetangga terdekat pertama), pengklasifikasian forest acak, dan support vector machine (menggunakan satu versus pendekatan sisa)

Pelatihan jaringan syaraf

Jaringan Syaraf telah dilatih menggunakan penurunan gradien stokastikdengan ukuran batch 30. Ukuran step gradien di perintah oleh tingkat pembelajaran hyperparameter dan di adapsi berdasarkan pada sejarah pembelajaran menggunakan AdaGrad(Duchi et al., 2011). Pada skema adaptif, tingkat pembelajaran pada masing masing parameter proporsional di kurangi pada jarak dimana parameter bergerak pada saat pelatihan.

Kami menemukan bahwa model jaringan syaraf kita sangat melengkapi pelatihan data. Untuk melawan kecendrungan ini, kami menambahkan istilah regulasi L2 dengan kekuatan regulasi p dipilih sebagai hyperparameter. Sebagai tambahan, kita mencoba penerapan dropout kepada layer tersembunyi. Kemungkinan dropout di coba dengan jarak dari 5% sampai 40%.

Vector kata adalah inputan penting pada jaringan. Untuk mengeksplor efek dari vector kata pilihan pada kinerja. Kami melatih jaringan berdasarkan pre-trained 50-dimensional dan 100-dimensional word vectors. Untuk lebih jauh, kami mencoba gradien back-propagating menjadi vektor kata. Membolehkan informasi task-specific untuk mempengaruhi perwakilan kata individual untuk menjadi kinerja yang optimal. Jaringan layer tersembunyi telah dipilih untuk berukuran sama seperti input vector kata.

Akhirnya, distribusi yang tidak seimbang dari pelatihan kategori kemiripan adalah faktor lain yang dapat mempengaruhi hasil pelatihan. Memang, prediksi dari beberapa model baseline sebagian condong menuju dua kategori yang paling umum (0 dan 4). Untuk memperhitungkan ini, kami mencoba pelatihan jaringan dari data yang disamakan, dimana angka yang sama pada pelatihan dari masing masing kategori kemiripan telah dipilih secara acak untuk membetuk masing masing batch.

Jaringan Syaraf di implementasikan pada python menggunakan Numpy dan dilatih pada cluster CPU. Jaringan telah dilatih untuk 300 epochs (sekitar 3 jam) untuk menjelajah parameter dan 1000 epochs (sekitar 10 jam) untuk menjalankan produk final.

Kami mengeksplor kinerja dari setiap model antara variasi tingkat pembelajaran dan nilai regulasi dan laporan kinerja tertinggi jaringan di sini.

Hasil

Hasil dari rekursif kami dan jaringan syaraf berulang telah di atur di tabel 1. Kecuali dinyatakan lain, setiap jaringan telah dilatih menggunakan 50-dimensional vector kata untuk 1000 epochs. Jaringan menggunakan 100-dimensional vector kata telah dilatih untuk 700 epochs.

Kinerja model terbaik tadinya adalah jaringan syaraf berulang dengan 100-dimensional vector kata dan 100-dimensional layer tersembunyi, dilatih dengan 20% dropout, tingkat pembelajaran dari 0.01 dan regulasi konstan dari 0.01. model ini mencapai train/dev/test dengan skor F1 0.812/0.342/0.338 secara berurutan.

Secara mengejutkan, Menyediakan pelatihan data pada jadwal yang disamakan tidak meningkatkan kinerja jaringan. Meningkatkan regulasi konstan mengurangi jumlah dari overfitting pada jaringan. Untuk jaringan 50-dimensional, ini juga menyebabkan kinerja jaringan keseluruhan menurun. Bagaimanapun juga, jaringan 100-dimensional (yang mana memiliki kapasitas yang lebih tinggi) di latih dengan dropout cenderung mempunyai kinerja sedikit lebih baik.

Akhirnya, gredien back-propagating kepada vector kata yang juga overfitting meningkat secara signifikan. Menggeser skor F1 train/dev setelah 300 epochs dari 0.408 sampai 0.937/0.291

Kesimpulan

Mengevaluasi kemiripan semantic dari dua kalimat adalah pusat tugas untuk automasi pengertian natural language. Disini, kami mengeksplor ke efektifan dari jaringan syaraf berulang dan rekursif. Di kombinasikan dengan perwakilan vector kata, untuk memprediksi kemiripan semantic dari kalimat dan sepasang frasa. Model terbaik kami, jaringan berulang dengan 100-dimensional vector kata dan 20% dropout, mengungguli semua baseline dengan margin substantial.

Hasil dari tantangan SemEeval 2015 belakangan ini di rilis, meskipun modelnya tidak di deskripsikan secara detail (Agirre et al., 2015). entri untuk tantangan SemEval di evaluasi oleh korelasi Pearson antara prediksi dan standar acuan nilai semantic. Model terbaik kami mencapai skor Pearson 0.560, sedangkan model terbaik dari tantangan SemEval mencapai skor Pearson rata rata 0.802 dari semua tugas. Bagaimanapun, di situ ada dua perbedaan penting antara pendekatan kami dan tantangan SemEval yang membuat tugas kami lebih menantang. Pertama, kami mengkonversikan tugas menjadi satu klasifikasi, mengelompokkan semua kemiripan nilai menjadi enam kategori. Kedua, model di dalam tantangan SemEval telah dilatih dan di coba kepada anak tugas berbeda secara individual, sedangkan model kami mempunyai tantangan dari mempelajari semua tugas secara serentak. Dengan begitu, perbandingan langsung dari dua kalimat bisa jadi tidak bersifat informatif. Tidak terkecuali, kami masih menyimpulkan bahwa jaringan syaraf adalah metode yang efektif untuk memajukan pengertian komputasional dari kemiripan semantic.

Referensi

Agirre, Eneko, et al. ”SemEval-2015 task 2: Semantic textual similarity, English, Spanish and pilot on interpretability.” Proceedings of the 9th International Workshop on Semantic Evaluation (SemEval 2015), June. 2015. http://alt.qcri.org/semeval2015/task2/.

Callison-Burch, Chris, Miles Osborne, and Philipp Koehn. ”Re-evaluation the Role of Bleu in Machine Translation Research.” EACL. Vol. 6. 2006.

Dikli, Semire. ”An overview of automated scoring of essays.” The Journal of Technology, Learning and Assessment 5.1 (2006).

Duchi,John,EladHazan,and Yoram Singer. ”Adaptive subgradient methods for online learning and stochastic optimization.” Journal of Machine Learning Research, (2011).

Dzikovska, Myroslava O., et al. ”Intelligent tutoring with natural language support in the Beetle II system.” Sustaining TEL: From Innovation to Learning and Practice. Springer Berlin Heidelberg, 2010. 620-625.

Eyecioglu,A.andKeller,B.(2015). ”ASOBEK:Twitter para phrase identiﬁcation with simple overlap features and SVMs.” In Proceedings of SemEval.

Jurgens,David,MohammadTaherPilehvar,andRobertoNavigli. ”SemEval-2014Task3: Cross-levelsemantic similarity.” SemEval 2014 (2014): 17.

Mikolov,Tomas,etal. ”Extensions of recurrent neural network language model.”Acoustics,Speech and Signal Processing (ICASSP), IEEE, 2011.

Pan, Jia-Yu, et al. ”Automatic image captioning.” Multimedia and Expo, 2004. ICME’04. 2004 IEEE International Conference on. Vol. 3. IEEE, 2004.

Pennington, Jeffrey, Richard Socher, and Christopher D. Manning. ”Glove: Global vectors for word representation.” Proceedings of the Empiricial Methods in Natural Language Processing (EMNLP 2014) 12 (2014).

Rashtchian, Cyrus, et al. ”Collecting image annotations using Amazon’s Mechanical Turk.” Proceedings of the NAACL HLT 2010 Workshop on Creating Speech and Language Data with Amazon’s Mechanical Turk. Association for Computational Linguistics, 2010.

Socher, Richard, et al. ”Parsing natural scenes and natural language with recursive neural networks.” Proceedings of the 28th international conference on machine learning (ICML-11). 2011.

Vilar,David,etal. ”Human evaluation of machine translation through binary system comparisons.” Proceedings of the Second Workshop on Statistical Machine Translation. Association for Computational Linguistics, 2007.

Xu, Wei, Chris Callison-Burch, and William B. Dolan. ”SemEval-2015 Task 1: Paraphrase and semantic similarityinTwitter(PIT).”Proceedings of the 9thInternational Workshop on Semantic Evaluation (SemEval). 2015.

Zarrella, G., Henderson, J., Merkhofer, E. M., and Strickhart, L. (2015). ”MITRE: Seven systems for semantic similarity in tweets.” In Proceedings of SemEval.