“La teoría de la información fue desarrollada por Claude E. Shannon para encontrar los límites fundamentales en la compresión y almacenamiento confiable y comunicación de datos. ... se ha ampliado para encontrar aplicaciones en muchas otras áreas, incluyendo inferencia estadística, procesamiento del lenguaje natural, criptografía, otras redes diferentes a las redes de comunicación –como en neurobiología, la evolución y función de códigos moleculares, selección de modelos en ecología, física térmica, computación cuántica, detección de plagiarismo y otras formas de análisis de datos.
Una medida clave de la información en la teoría es conocida como entropía, la que usualmente se expresa como el número promedio de bits necesarios para almacenamiento o comunicación. ...La entropía cuantifica la incertidumbre involucrada al encontrar una variable al azar. Por ejemplo, tirar una moneda (con dos resultados probables) tendrá menos entropía que tirar un dado (con 6 resultados igualmente probables).
Aplicaciones de tópicos fundamentales de la teoría de la información incluyen compresión sin pérdida de datos (ej. Archivos ZIP), compresión de datos con pérdida (ej. MP3s), y codificación de canal (ej. Para líneas DSL). El campo está en la intersección de las matemáticas, estadística, ciencias de la computación, física, neurobiología, e ingeniería eléctrica. Su impacto ha sido crucial para el éxito de las misiones del Voyager al espacio profundo, la invención del disco compacto, la factibilidad de los teléfonos móviles, el desarrollo de Internet, el estudio de la lingüística y la percepción humana, la comprensión de los agujeros negros, y otros campos numerosos. Subcampos importantes de la teoría de la información son la codificación de fuentes, codificación de canales, teoría de la complejidad algorítmica, teoría de la información algorítmica, y medida de la información.”
Un sistema de comunicación consiste de cinco partes esenciales:
1. Una Fuente de Información que produce un mensaje o secuencia de mensajes a ser comunicados a una terminal receptora. Los mensajes pueden ser de varios tipos:
- Una secuencia de letras
- Una función única de tiempo ft como en radio o telefonía
- Ua función de tiempo y otras variables como en la televisión en blanco y negro- aquí el mensaje puede considerarse como una función fxy de dos coordenadas espaciales y tiempo, la intensidad de la luz en el punto xy y tiempo t en la placa del tubo.
- 2o más funciones de tiempo, es decir ft, gt, ht- este es el caso de la transmisión de sonido tridimensional o si el sistema intenta servir varios canales individuales en múltiple.
- varias funciones de varias variables—en la televisión de color consiste de tres funciones fxyt, gxyt, hxyt definidas en un continuo tridimensional—también podemos pensar de esas tres funciones como componentes de un campo de vectores definido en la región—similarmente, varias fuentes de televisión blanco y negro producirían mensajes consistentes de un número de funciones de tres variables.
- También pueden ocurrir varias combinaciones, por ejemplo en televisión con un canal de audio asociado.
3. El canal es meramente el medio utilizado para transmitir la señal del transmisor al receptor. Puede ser un par de alambres, un cable coaxial, una banda de frecuencia de radio, un haz de luz, etc.
4. El Receptor ordinariamente realiza la operación inversa de la hecha por el Transmisor, reconstruyendo el mensaje de la Señal.
5. El Destino es la persona (o cosa) para quien se propone el mensaje.
Podemos clasificar los sistemas de comunicación en tres categorías principales: Discretos, Continuos y Mixtos. Entendemos como Sistema Discreto uno en el que ambos Mensaje y Señal son una secuencia de símbolos discretos. Típico caso es el telégrafo donde el mensaje es una secuencia de letras y la señal una secuencias de puntos, rayas y espacios. Un Sistema Continuo es uno en el que el Mensaje y la Señal son tratados como funciones continuas, ej. Radio o televisión. Un Sistema Mixto es uno en el que aparecen ambas, variables Continuas y Discretas, ej. Transmisión de palabras PCM.
