Cuando afrontamos la tarea de relacionar color y sonido debemos empezar por definirlos.
De una forma simple y general pero útil para lo que nos ocupa podemos decir que:
El color es nuestro modo de interpretar determinadas longitudes de onda dentro del espectro electromagnético.
El sonido es nuestro modo de interpretar determinadas frecuencias de presión del medio en el que estamos inmersos.
Ambas definiciones hacen referencia a la onda de un modo fundamental: el color se caracteriza por una longitud de onda y el sonido por una frecuencia. De este modo y de un modo intuitivo parece que se podrá extraer alguna relación.
Trabajo en frecuencia:
La única pega al tratar de trabajar en base a frecuencias(tonos) es que habitualmente los sonidos vienen con muchas frecuencias mezcladas y evaluarlas requiere un proceso previo. Por suerte un matemático y físico francés, Joseph Fourier, estableció una aplicación mediante la cuál es virtualmente posible descomponer cualquier función periódica en una suma de funciones senoidales(tonos simples).
Esta aplicación, llamada La Transformada de Fourier, muy complicada de calcular con lápiz y papel, ha sido desarrollada y optimizada algorítmicamente de forma que la potencia de los ordenadores actuales la puede resolver muy rápidamente, sin embargo un análisis a tiempo real sobrecarga bastante al ordenador.
Trabajo en volumen:
Otra propiedad del sonido es la amplitud de onda o volumen, si imaginamos un altavoz y su movimiento adelante y atrás podemos entender que tiene un punto central de reposo en el que no suena, que si se mueve ligeramente apenas sonará y que si se mueve violentamente adelante y atrás sonará fuerte, eso es la amplitud de onda, la columna de medio(aire) desplazado por la presión. El volumen es un dato directamente disponible, lo podemos medir en cualquier instante y transformarlo directamente en un color. Para medirlo basta con analizar un fragmento del sonido, el comprendido entre dos valores nulos y sacar el máximo o el mínimo valor de ese periodo, muchas librerías de audio disponibles ya contemplan métodos automáticos para evaluar este valor.
Progresión lineal vs. logarítmica:
El espectro visible abarca desde el rojo, con 750 nm, al violeta, con 380 nm, de longitud de onda y el audible de los 20Hz a los 20000Hz en el mejor de los casos.
El color contiene un sólo ciclo, su tono va evolucionando constantemente a lo largo de todo el espectro mientras que en el sonido se trata más bien de una espiral que se repite cíclicamente octava tras octava ascendiendo en el tono hasta unas diez octavas.
Si nos fijamos en las frecuencias de los LA del espectro audible tenemos: 27.5,55,110,220,440,880,1760,2520,5040,10080,20160 .
Se trata de una progresión geométrica en la que cada nuevo termino es el doble que el anterior.
Así mientras el color avanza en una progresión lineal, el sonido lo hace de forma logarítmica y esto debería ser tenido en cuenta a la hora de crear los algoritmos que los relacionen .
La Transformada de Fourier:
Mi interés en esta aplicación se inició al intentar transformar imágenes en sonido a través de los valores de frecuencia del color. Tras algunas búsquedas descubrí que se podía transformar una imagen, a través de esta aplicación, al dominio de la frecuencia, esto es, convertirla en una imagen que representa la frecuencia con la que se repiten los colores de la imagen original. Mi intención era coger esta imagen transformada y volcarla directamente sobre un buffer de audio para ver cómo sonaba, con la intención de transformar en tiempo real las imágenes captadas con una webcam, pronto descubrí que el tremendo volumen de operaciones hacia esta opción inviable y que por el momento habría que limitarse a un proceso de renderizado desechando la transformación en directo.
En cualquier caso, una vez informado, decidí variar el sentido de mi investigación 180 grados, transformar el sonido en imagen sería mucho más factible.
Bibliografía:
- PAJARES MARTINSANZ, Gonzalo;DE LA GRUZ GARCÍA, Jesus M. Visión por computador: Imágenes digitales y aplicaciones. Madrid: RA-MA, 2001. 800 p. ISBN: 9788478974726
- ROADS, Curtis. The computer music tutorial. The MIT Press; 1 edition (February 27, 1996). 1234 p. ISBN: 9780262680820
