LA REVOLUCIÓN DEL DEEP LEARNING
west

LA REVOLUCIÓN DEL DEEP LEARNING

El futuro de la Inteligencia Artificial ha llegado.


Nodd3r
9 de Junio de 2022 . 5 min
 ...

Como concepto, el Deep Learning es bastante reciente. Se mencionaría por primera vez aproximadamente allá por el año 2000. No obstante, la idea de desarrollar redes neuronales para enseñar al modelo a tomar decisiones tiene ya varias décadas. En los años 80 se crearon las primeras redes neuronales, con resultados bastante decepcionantes, todo hay que decirlo.

Si quisiéramos dotar a un sistema de IA de la capacidad de análisis de sentimientos y nos remontáramos a principios de siglo, lo abordaríamos como un problema de clasificación de la polaridad de las palabras. Introduciríamos en el dataset un conjunto de buenas y malas palabras y les asignaríamos una puntuación a cada una de ellas. El sistema detectaría en la frase que debiera analizar, el cómputo total de puntos del conjunto de buenas y malas palabras y daría una valoración final de la oración determinando finalmente si el sentimiento es positivo o negativo.

Una solución sencilla. Si. Pero con problemas. Veamos un ejemplo:

              “Eres un tío genial para ser negro”.

El trasfondo de la oración es claramente negativo pero el modelo interpretaría un sentimiento positivo, ya que la valoración de palabras como “genial” sería positiva y no habría palabras con valoración negativa dentro de la frase. Y es que el sistema no era capaz de interpretar la ironía o el sarcasmo o juegos de palabras.


LAS REDES NEURONALES RECURRENTES, 2012.

Si avanzamos hasta 2012, aproximadamente, estaríamos avanzando hasta el verdadero comienzo de la era del Deep Learning y es que, durante la última década hemos visto resucitar la carrera por una Inteligencia Artificial que parecía haberse estancado.

Comenzaron a utilizarse redes neuronales recurrentes para el análisis de texto y de esta manera el modelo aprendía cual es la relación entre una secuencia de palabras. Es decir, nosotros introduciríamos una secuencia de palabras cómo Input y el modelo nos devolvería el sentimiento como Output.

Estaríamos delante de un esquema de aprendizaje supervisado donde el ingeniero de turno se sentaría delante de la pantalla a valorar positiva o negativamente un trillón de comentarios en la red para comenzar a entrenar el modelo. Pero, ¿ qué ocurría si en lugar de una valoración Bueno / Malo pedíamos al modelo una valoración numérica? Del 1 al 10, por ejemplo.

Pues lo que ocurría es que había que elaborar un nuevo dataset desde cero. Daba igual lo parecida que fuera la nueva tarea a la anterior. Si querías entrenar al modelo con una nueva tarea, requería de un nuevo dataset concreto, y por tanto, de un nuevo entrenamiento.

El modelo ya era capaz de entender en su mayoría el mensaje de texto considerando giros interpretativos, sarcasmo o juegos de palabras, pero no dejamos de hablar de que cada modelo era entrenado para una tarea específica. Y no esta nada mal, son grandes avances, pero no sería hasta 2017 que presenciaríamos la verdadera carrera espacial en este nicho.


LA ERA IMAGENET DEL NLP

En 2017 viviríamos el verdadero “Bum” en la carrera por el Deep Learning abriendo un camino prometedor en el campo de la Inteligencia Artificial con los modelos generalistas multifuncionales. Se empezó a entrenar a modelos que habían sido pre-entrenados en otras tareas y se amplió la diversidad de fuentes de datos tomadas como Input.

No es lo mismo entrenar un modelo desde cero que reentrenar un modelo que ya tiene datos; de la misma manera que no es lo mismo enseñar a recitar poemas a un humano que no sabe leer frente a otro que sí. De esta manera se lograba reducir la carga de trabajo y la cantidad de datos necesarios.

Además, volviendo a la analogía con humanos, es más fácil para nosotros interpretar el mundo con los cinco sentidos que cuando somos privados de alguno de ellos. Cuando comemos una naranja, la sentimos al tacto, degustamos su sabor y somos capaces de olerla y verla. Podríamos vivir la experiencia privados de algún sentido, pero ¿verdad que la experiencia es más rica si se vive con más sentidos? Pues lo mismo ocurre con el Deep Learning, el aprendizaje es más rico cuanto mayor es la diversidad y el abanico de las fuentes de datos tomadas. Es más fácil para una máquina si puede nutrirse de datos de naturaleza textual o audiovisual que si solo lo hiciera de textos de la red.


TU AMIGO TRANSFORMER, 2017

Coincidiendo con la llegada de los Transformers, en 2017 se comenzó a pre-entrenar modelos de Inteligencia artificial para entender el lenguaje. Y no… no estamos hablando de Optimus Prime y sus amigos sino de potentes modelos AI basados en redes neuronales capaces de aprender contexto mediante el seguimiento de datos secuenciales.

¿Y cómo conseguimos que una máquina aprenda nuestro lenguaje? Pues de la misma manera que lo haría un niño: Le pondríamos delante al modelo distintas oraciones y omitiríamos alguna palabra relevante para que el modelo la complete. Coge esta idea y elévala al máximo exponente repitiendo el proceso millones de veces hasta que aprenda finalmente a contextualizar el lenguaje.

Al entrenar estos modelos conscientes de contexto ya no era necesaria una supervisión por parte de Data Scientists.

La transición de un aprendizaje supervisado a un aprendizaje auto-supervisado supuso un cambio del paradigma ya que, ya no era necesario etiquetar manualmente nuestros datos, sino que podías desarrollar un proceso para que estas etiquetas fueran generadas por el modelo y, como ya no era un problema el etiquetado manual, estos modelos escalaban en magnitud de parámetros de entrada exponencialmente.

Y no solo eso, si ya eres Data Scientist supongo que lo sabrás y si todavía no lo eres, pero te apasiona el sector, te encantará saber que las grandes corporaciones encargadas en desarrollar estos modelos los liberaban y ponían a disposición de la comunidad en la red donde tú podías coger estos modelos pre-entrenados y entrenarlos para tus propios fines. Una democratización del conocimiento sin precedentes que disparó la carrera tecnológica a un nuevo nivel de escalabilidad.


MODELOS GENERATIVOS PRE-ENTRENADOS BASADOS EN TRANSFORMERS, GPTs.

Lo que se observó con estos modelos enormes que se nutrían de todo tipo de datos en la red fue que, pretendiendo únicamente enseñarles a entender nuestro lenguaje, aprendieron a realizar distintas tareas como generar texto, hacer resúmenes, traducir a otras lenguas, sumar, restar y otras operaciones matemáticas, actuar como un chatbot… Estamos hablando de los famosos Modelos Generativos Pre-entrenados basados en Transformers, también conocidos como GPTs.

En este punto, cabe destacar la aportación de Open AI al Deep Learning en 2020: GPT-3. Hablamos de un modelo con 175 mil millones de parámetros capaz de imitar la forma en la que los humanos nos comunicamos y no es de extrañar. Imagina un modelo que ha aprendido tomando como base de datos todo lo recogido en redes sociales. Y es que los avances en Inteligencia Artificial no dejan de llamar a la puerta. En Mayo de 2022 se presentó de la mano de Deep Mind: GATO. Gato, un modelo AI multimodal capaz de desempeñar 604 tareas con tan solo 1,18 mil millones. Un modelo diminuto en comparación con gigantes como GPT-3 ( 175 mil millones ), PaLM ( 540 mil millones ) o Chinchilla ( 70 mil millones ). Quizás lo fascinante de este modelo no sea tanto el nivel de profundización del modelo en cada una de las diferentes tareas (un nivel más que aceptable en más de 450 de las tareas), sino la capacidad de ser pre-entrenado para hacer prácticamente cualquier tarea con muy pocos datos en comparativa con otros de los enormes modelos generalistas anteriores.

Y este es el punto en el que nos encontramos damas y caballeros, apenas crees haberte actualizado cuando de repente sale una nueva noticia que te golpea en la cara. Vivimos unos tiempos maravillosos en el ámbito de la Inteligencia Artificial y aquí en Nodd3r te iremos informando.

Si estas interesado en el sector o piensas darle un giro a tu carrera profesional, puedes visitar la web y apuntarte a nuestro Máster en Data Science.


También te puede interesar





...
LA REVOLUCIÓN DEL DEEP LEARNING

El futuro de la Inteligencia Artificial ha llegado.

...
UNDERFITTING y OVERFITTING

Qué es, causas, cómo detectarlo y solucionarlo

...
¿Qué es Git?

¿Conoces Git? ¿Sabes lo que es un sistema de control de versiones? Si te gusta la programación, desarrollar tus propios proyectos, el desarrollo de software, etc. seguro que has leído algo sobre Git. Hoy te contamos todos los detalles acerca de esta herramienta.

...
¿Cómo funciona el algoritmo y el sistema de recomendación de Spotify?

¿Quieres saber cómo funciona el algoritmo de recomendación de Spotify? Descubre los tres modelos en los que se apoya su sistema de recomendación: Modelo de Filtrado Colaborativo, Modelo de Procesamiento del Lenguaje Natural y Modelo de Audio Sin Procesar

...
Cómo aprender a programar Python desde 0

Existen multitud de lenguajes de programación, entonces, ¿a qué se debe el gran crecimiento de Python? ¿Qué características tiene este lenguaje que muchos programadores se decantan por él? Descúbrelo en el post de hoy

...
Errores más comunes en Python

Si quieres aprender a programar en Python o ya has empezado y quieres conocer los errores más comunes que se cometen, te invitamos a que leas este post.

...
¿Cómo hacer un proyecto de Data Science de forma eficiente?

En el post de hoy te vamos a dar algunos consejos para que puedas sacar el máximo partido a tu tiempo mientras desarrollas un proyecto de Data Science.

...
¿Por qué se utiliza Python en Data Science?

Si quieres saber a qué se debe la alta demanda de Python en Data Science y cómo se utiliza, no te pierdas esta nueva entrada a nuestro blog.

...
Cómo usa Netflix la Inteligencia Artificial para recomendar series

A través de su algoritmo de recomendación Netflix predice qué contenidos te van a gustar. Si quieres saber cómo funciona no te pierdas este blog.

...
Los 10 mejores proyectos de Machine Learning si eres Principiante

¿Quieres descubrir qué proyectos reales de Machine Learning puedes hacer si eres principiante?¿Quieres aplicar tus conocimientos de Machine Learning? ¿No sabes por dónde empezar? En el post de hoy te contamos 10 proyectos de ML que puedes hacer si eres principiante.

...
¿Cuál es la diferencia entre la Inteligencia Artificial y el Machine Learning?

¿Son la Inteligencia Artificial y el Machine Learning lo mismo? Si son dos conceptos distintos, ¿de qué forma están relacionados? Estas son algunas de las preguntas que mucha gente se hace, en el post de hoy veremos las diferencias entre ambos y la relación que tienen.

...
¿Qué es Inteligencia Artificial?

En este post hablamos un poco de la historia de la inteligencia artificial, qué es, los tipos que hay, sus aplicaciones y sus ventajas e inconvenientes.

...
¿Cómo aplicar Data Science en áreas como Marketing, Biología, Justicia y Arqueología?

El uso de la ciencia de datos está muy extendido, en el blog de hoy vamos a ver cómo podemos usarla en distintas áreas.

...
¿Qué es Deep Learning?

Si quieres saber qué es el Deep Learning, cómo funciona y algunos de los usos que tiene, te lo contamos en este post.

...
Historia del Data Science

En este post hacemos un repaso por la historia de la Ciencia de Datos, cómo surgió y cómo fue evolucionando.

...
¿Qué es el Machine Learning y qué aplicaciones tiene?

En este post vamos a hablar sobre Machine Learning, qué es y cuáles son algunas de sus aplicaciones.

...
¿Cómo el data science y el big data puede ayudar a tu negocio?

En este post vamos a hablar sobre cómo la ciencia de datos puede ayudar a mejorar un negocio.

...
¿Qué se necesita saber para ser Data Scientist?

En este post te hacemos un resumen sobre los conocimientos necesarios para trabajar como científico de datos.

...
¿Por qué estudiar Data Science?

En este post, te damos las claves de la importancia de estudiar ciencia de datos.

...
¿Cómo proteger nuestros datos?

En este post, te dejamos alguna información y trucos que puedes hacer para proteger mejor tus datos

...
¿Qué es Data Science?

Si no sabes lo que es la la ciencia de datos, ni para qué sirve, te lo contamos en este post.

...
Bienvenidos Nodd3rs

¡Bienvenidos a nuestro nuevo blog!

whatsapp