Kagetnews | Ilmiah – Teori informasi adalah pendekatan matematika untuk mempelajari pengkodean informasi bersama dengan kuantifikasi, penyimpanan, dan komunikasi informasi.
Konsep ini pertama kali diajukan oleh Claude E. Shannon sehingga Claude Shannon di sebut sebagai bapak teori informasi. Teori informasi adalah mengukur berapa banyak informasi yang ada dalam sinyal. Awalnya ditemukan untuk mempelajari pengiriman pesan dari alfabet diskrit melalui noisy channel, seperti komunikasi melalui transmisi radio.
Teori informasi adalah konsep yang sangat berguna untuk praktisi machine learning karena memungkinkan kita untuk melihat algoritma pembelajaran dari perspektif informasi-teoritik. Aplikasi dari teori informasi diantaranya adalah pada bidang linguistik, kompresi data, jaringan komputer dan bioinformatika.
Kasus penggunaan yang paling umum untuk teori informasi adalah untuk mencirikan distribusi probabilitas dan untuk mengukur kesamaan antara dua distribusi probabilitas.
Dalam teori informasi ada istilah redundansi informasi. Redundansi adalah sesuatu yang bisa diramalkan atau diprediksikan karena prediktabilitasnya tinggi maka informasi pun rendah. Fungsi redundansi apabila dikaitkan dengan masalah teknis, biasanya untuk membantu mengatasi masalah komunikasi praktis. *** (Taufid)
