Que es Bert y como funciona:

Un punto importante de diferencia entre BERT y otros modelos de PNL es que es el primer intento de Google en un modelo previamente entrenado que es profundamente bidireccional y hace poco uso de cualquier otra cosa que no sea un cuerpo de texto plano. Como es un modelo de código abierto, cualquiera que tenga un conocimiento sólido de los algoritmos de aprendizaje automático puede usarlo para desarrollar un modelo de PNL sin tener que integrar diferentes conjuntos de datos para el entrenamiento de modelos, ahorrando así recursos y dinero.

¿Qué es el procesamiento del lenguaje natural?

El procesamiento del lenguaje natural (PNL) es una rama de la inteligencia artificial diseñada para ayudar a las máquinas a comprender el proceso de comunicación natural de los seres humanos. 

Escribes una palabra en el cuadro de búsqueda de tu Google y aparecen una gran cantidad de sugerencias. Te comunicas con los chatbots de una empresa. Todas estas comunicaciones son posibles gracias a la PNL.  

Entre los ejemplos de avances posibles gracias a la PNL se incluyen herramientas de escucha social, chatbots y sugerencias de palabras en su teléfono inteligente. Si bien la PNL no es nueva para los motores de búsqueda, BERT representa un gran avance en el procesamiento del lenguaje natural a través del entrenamiento bidireccional. 

¿Cómo actúa BERT?

BERT entrena los modelos de lenguaje basados ​​en el conjunto completo de palabras en una consulta u oración conocida como entrenamiento bidireccional, mientras que los modelos tradicionales de PNL entrenan modelos de lenguaje en el orden de secuencia de palabras (de derecha a izquierda o de izquierda a derecha). Facilita los modelos de lenguaje para discernir el contexto de las palabras en función de las palabras circundantes en lugar de las palabras que le siguen o preceden. 

Google lo califica como "profundamente bidireccional" y con razón por la sencilla razón de que el verdadero significado de lo que las palabras están comunicando es posible solo a través de un análisis profundo de la red neuronal. 

¿BERT ha reemplazado al algoritmo RankBrain? 

RankBrain fue el primer algoritmo basado en inteligencia artificial de Google para comprender las consultas de búsqueda y el contexto de una palabra en una oración. Utiliza el aprendizaje automático para brindar los resultados de búsqueda más relevantes a las consultas de los usuarios. Coincide con las consultas y el contenido de las páginas web para comprender mejor el contexto de las palabras en una oración. Es importante comprender que BERT no se ha introducido como reemplazo de Rank Brain. De hecho, agrega más potencia para que los puntos más finos de lo que el usuario solicita o desea se comprendan y procesen mejor. Sin embargo, si Google necesita comprender mejor el contexto de una palabra, BERT definitivamente lo hará mejor. Google puede utilizar varios métodos para comprender una sola consulta, incluidos RankBrain y BERT. 

¿Cómo se volvió BERT tan inteligente?

¿Qué tal si echamos un vistazo a una visión muy simplificada de cómo BERT se volvió tan inteligente? 

Google tomó texto de Wikipedia y mucho dinero para poder computacional (TPU en el que se juntan en un pod V3) que puede alimentar estos grandes modelos. Luego utilizaron una red neuronal sin supervisión para entrenar a partir de todo el texto de Wikipedia para comprender mejor el lenguaje y el contexto .

Lo interesante de cómo aprende es que toma cualquier longitud de texto arbitraria (lo cual es bueno porque el lenguaje es bastante arbitrario en la forma en que hablamos) y lo transcribe en un vector.

Un vector es una cadena fija de números. Esto ayuda a que el lenguaje se vuelva traducible a una máquina. 

Esto sucede en un espacio n-dimensional realmente salvaje que ni siquiera podemos imaginar. Colocar un lenguaje contextual similar en las mismas áreas. 

Para ser más inteligente y más inteligente, BERT, similar a Word2vec, usa una táctica llamada enmascaramiento .

El enmascaramiento ocurre cuando se oculta una palabra aleatoria dentro de una oración. 

BERT es un modelo bidireccional que busca las palabras antes y después de la palabra oculta para ayudar a predecir cuál es la palabra. 

Hace esto una y otra y otra vez hasta que es poderoso para predecir palabras enmascaradas. Luego se puede ajustar aún más para realizar 11 de las tareas de procesamiento del lenguaje natural más comunes. Realmente, realmente emocionante y divertido estar en este espacio.