Taufiksi – Aduhh, rasanya mager banget bahas tentang natural language preprocessing nlp ini ya hmm padahal udah lama di rencanakan.
Sampai pada suatu ketika saya mendapatkan soal uts lusa kemarin hmm. Jujur saja saya masih dalam tahap mengerjakan skripsi yang tidak tau kapan akan kelar wkwk.
Sungguh perjuangan yang ngga tau kapan akan selesai. Tapi karena saya sekarang sedang ingin menulis basa basi tanpa harus adanya riset maka terbitlah artikel ini.
Mungkin materi ini akan tidak asing untuk mahasiswa jurusan informatika yang ada di semester akhir, tapi mungkin juga tidak seasing itu.
Jadi kali ini akan mencoba sedikit lebih panjang artikelnya ya, semoga kuat membaca yang panjang panjang gini.
Pertama yang akan kita bahas adalah soal pengertian dari natural language preprocessing atau yang biasa di singkat dengan NLP atau nama lainya adalah bahasa alami.
Memang ya, di dunia ini sudah banyak berubah, termasuk pada bidang teknologi, apalagi di tambah dengan Artificial intelegent.
Tidak hanya itu sudah banyak di terapkan di seluruh dunia mengguanakn teknologi ini. Semakin canggih teknologi semakin banyak lulusan IT yang menjadi pengangguran wkwk.
Tapi itu hanya sebuah stigma kok, masih banyak pekerjaan yang bisa kamu lakukan jika memang berasal dari lulusan informatika.
Ya, kecil kecilnya seperti menjadi seorang freelancer kek, atau bahkan menjadi android developer. Tidak jarang lulusan it yang ngga bisa ngoding menjadi data sains.
Gimana ? yahh, itu adalah sebuah basa basi yang tidak penting sih.
Mari kita lanjutkan pada materi yang di bawakan pada artikel kali ini yaitu natural language preprocessing nlp yang maha besar ini.
Apa Itu Natural Language Preprocessing ?
NLP adalah sebuah cabang dari artificial intelligence yang berhubungan antar mesin dengan manusia dengan menggunakan bahasa alami.
Apa yang di maksudkan dengan bahasa alami ? Mari kita bedah dengan satu contoh berikut ini.
Saat kamu sedang jalan jalan di sebuah mall dan menghubungi salah satu sahabatmu untuk menanyakan posisi sahabatmu, dan di jawab “Di sebelah toko eiger ini” atau “Lagi nyantai di depan mall”.
Nah jawabah tersebut mendeskripsikan lokasi dengan bahasa alami, atau bahasa yang biasa kita gunakan untuk berbicara sehari hari.
NLP sendiri menggabungkan antara linguistik komputasi permodelan manusia berbasis aturan dengan model statistik, machine learning sampai deep learning.
Semua teknologi tersebut memungkinkan program komputer memproses bahasa manusia dalam bentuk teks maupun suara dan memahami artinya.
Natural language preprocessing ini bisa sangat membantu perusahaan untuk meningkatkan wawasan mereka dan mendapatkan lebih banyak visibilitas ke semua aspek operasi yang di hadapi user mereka dari pada periode sebelumnya.
Kalau berdasarkan laporan statista pada tahun 2019, pasar NLP dipastikan akan meningkat pada tahun 2025 menjadi $43 Miliar. Gila ngga tuh.
Pendekatan NLP
Siapa bilang hanya hubunganmu dengannya aja yang butuh pendekatan ? Komputer juga butuh pendekatan untuk memahami bahasa manusia.
Emang cuma kamu ke dia aja yang butuh wkwk.
Ada beberapa pendekatan dalam nlp yang perlu kamu ketahui yaitu :
Pendekatan Simbolik
Pendekatan simbolik adalah pendekatan yang menggunakan berdasarkan pada aturan atau lexicon yang di kembangkan oleh manusia.
Yang artinya, sistem menerima aturan bicara dalam bahasa tertentu yang di wujudkan dan direkam oleh pakar linguistik untuk di ikuti.
Pendekatan Statistik
Pendekatan ini di dasarkan pada salah satu contoh fenomena linguistik yang bisa di amati dan berulang, jadi sistem mengenali tema berulang melalui analisis matematis.
Setelah mengidetifikasi sebuah trends salam sample teks yang besar, sistem komputer bisa mengembangkan aturan linguistik sendiri.
Pendekatan Koneksi
Pendekatan koneksi adalah pendekatan yang menghubungkan antara pendekatan statistik dengan pendekatan simbolik.
Hal tersebut di mulai dengan menggunakan aturan bahasa secara umum dan menyesuaikan dengan aplikasi spesifik berdasakan input yang berasal dari pendekatan statistik.
Teknik Natural Language Preprocessing
Sebenarnya ada dua teknik yang di gunakan di dalam nlp ini. yaitu syntax dan semantics yang akan saya jabarkan berikut ini.
Syntax
Teknik ini biasanya mengacu pada susunan kata kata dalam sebuah kalimat, sehingga tampak lebih masuk akal secara tata bahasa.
NLP menggunakan analisis syntaks untuk menerapkan aturan bahasa pada kumpulan kata yang telah di temukannya.
Syntax juga mempunyai beberapa tahapan yaitu:
- Stemming, sebuah proses yang melibatkan pemotongan akhir dan awal kata yang di ubah dalam bentuk akar supaya menghilangkan imbuhan kata. Contohnya seperti “diluar” padahal asli katanya adalah luar.
- Lemmatization, jadi ini adalah proses pengurangan berbagai bentuk kata yang berubah menjadi satu bentuk untuk memudahkan analisis. Contohnya seperti swim, swims dan lain sebagainya.
- Tokenization, proses pembagian sebagian besar teks yang berkelanjutan menjadi sebuah unit yang berbeda. Misalkan “Kamu Pergi Ke Pasar” yang menjadi “Kamu”, “Pergi”, “Ke”,”Pasar”. Ya seperti itulah.
- Parsing, analisis teks menjadi komponen sistaksis yang logis, namun biasanya untuk menguji kesesuaian dengan tata bahasa. Contohnya adalah memecahkan kalimat untuk menjelaskan setiap element pada seseorang.
Semantiks
Semantiks ini mengacu pada makna yang di sampaikan oleh teks. Ini merupakan aspek yang sulit untuk di analisis dalam nlp dan belum di pelajari sepenuhnya.
Analisis melibatkan penerapan dari algoritma komputer untuk memahami arti dan intrepretasi kata dan bagaimana kalimat tersebut di susun.
Sama halnya dengan sintax, semantiks juga mempunyai tahapan yaitu :
- Named entity recognition(NER), yang melibatkan penentuan bagian teks yang bisa di identifikasi dan di kategorikan ke dalam group tertentu. Contohnya seperti nama orang atau nama suatu tempat.
- Natural Language Generation, tahap ini melibatkan penggunaan database untuk mendapat maksud semantik dari teks dan mengubahnya menjadi bahasa manusia.
Kenapa NLP Sulit ?
NLP memang dianggap sulit dalam ilmu komputer, tidak terkecuali oleh saya yang tidak mengerti sama sekali apa itu.
Sifat bahasa manusialah yang membuat nlp menjadi sangat sangat sulit. Aturan yang mendikte penyampaian informasi menggunakan bahasa language tidak mudah di pahami oleh komputer.
Beberapa aturan ini bisa berlevel tinggi dan abstrak.
Contohnya jika seseorang berkomentar dengan bahasa yang sarkas untuk menyampaikan informasi, tentunya itu adalah salah satu hal yang sangat sulit di pahami komputer.
Di sisi lain, beberapa dari aturan ini bisa jadi berlevel rendah. Misalkan menggunakan huruf s untuk menandakan pluralitas item.
Memahami bahasa manusia secara komprehensif membutuhkan pemahaman baik kata kata maupun bagaimana konsep itu terhubung untuk menyampaikan pesan yang di maksudkan.
Sementara itu manusia bisa dengan mudah menguasai bahasa, ambigunitas dan karakteristik yang tidak tepat dari bahasa alami inilah yang membuat nlp begitu sulit untuk di terapkan dalam bahasa mesin.
Bagaimana Natural Language Preprocessing Bekerja
NLP memerlukan penerapan dari algoritma untuk mengidentifikasikan dan mengekstrak aturan bahasa alami sehingga data bahasa yang tidak terstruktur diubah menjadi bentuk yang dapat di pahami oleh komputer.
Saat teks telah di sediakan, komputer akan menggunakan algoritma untuk mengekstrak arti yang terkait dengan setiap kalimat dan mengumpulkan data penting lainnya.
Namun terkadang, komputer mungkin gagal memahami arti kalimat dengan baik yang menyebabkan hasil yang tidak jelas.
Contoh Penerapa NLP dalam Kehidupan Sehari Hari
Memang AI atau artificial intelegence sudah mendarah daging di kehidupan saat ini, sampai sampai penerapan nlp aja sudah banyak sekali yang memakainya.
Apakah kamu semuanya sadar bahwa kamu sudah menggunakan nlp dalam kehidupan sehari hari ? Ada yang bisa tebak apa aja contohnya ?
Berikut ini adalah contoh penerapan natural language preprocessing di kehidupan sehari hari yang perlu kamu ketahui.
Smart Home
Perangkat smarthome seperti alexa atau google home menjadi semakin populer apalagi di kalangan generasi milenial yang super malas.
Saat ini sudah lebih dari 50% generasi milenial yang mempunyai smarthome dengan kemampuan kontrol suara.
Smart home memang sangat bagus untuk keperluan multi tasking jika kamu ingin memutar sebuah lagu kesukaan namun kamu sedang dalam kondisi sakit terbaring di tempat tidur.
Kamu cukup memberikan perintah suara terhadap produk smarthome untuk mengaktifkan daftar playlist musik favorit dan perangkat tersebut akan menaati kemudian melakukannya segera.
Saat melakukan perintahmu, sesungguhnya perangkat ini menggunakan nlp untuk mengenali perintah suara dan melakukan tindakan dengan cepat.
Chatbot
Kamu pasti pernah menggunakannya, tapi yang lebih sering adalah pelaku bisnis yang super duper sibuk untuk membalas sebuah chat pelanggan.
Dari pada membalas chat yang itu itu mulu maka dari itu pelaku bisnis mempunyai cara yaitu membuat chatbot untuk membalas pesan dari pelanggan tersebut.
Sampai saat ini chatbot sangat berguna dan menghindari penurunan keluhan terhadap pelanggan.
Mesin Pencarian
Teknologi Natural Language Preprocessing nlp ini juga di terapkan pada mesin pencarian, entah itu produk dari google, bing, atau sejenisnya.
Kamu bisa mencobanya sendiri, coba ketikan di google maka google akan menampilkan pilihan yang relevan pada apa yang kamu ketikan.
Terjemahan
Google translate adalah salah satu produk yang notabene nomor satu dalah hal ini. Bagaimana bisa google translate bisa mendeteksi perintah yang kamu berikan ?
Tentu saja menggunakan natural language preprocessing dong. Hampir 500 juta orang setiap hari menggunakannya dan memahami 100 bahasa di dunia.
Google translate ini bekerja menggunakan nlp untuk memahami frasa atau istilah yang coba di terjemahkan oleh user.
Spam Email
Kamu pasti pernah menerima pesan spam kan. Spam email ini 45% lebih tinggi dari isi email yang benar benar asli.
Dari data tersebut pati kamu tanya kenapa tidak mendapatkan 100% pesan spam. Tentu saja karena produk produk dari email menggunakan filter anti spam.
Filter ini menggunakan nlp untuk mencegah pesan spam masuk ke dalam kotak emailmu.
Biasanya menyeleksi dengan menyertakan email yang berisi kata “Gratis”, “Promosi” dan lain sebagainya.
Penutup
Wahh ngga kerasa udah banyak banget ya saya nulis padahal skripsi aja ngga di urus wkwk. Yaudah lah mungkin sekian artikel ini cukupkan, terima kasih. Sampai jumpa di artikel selanjutnya. Babay.
