Bert: El nuevo algoritmo de búsqueda de Google

Bert: El nuevo algoritmo de búsqueda de Google

El 10% de las consultas están empleando el nuevo algoritmo basado en las técnicas de procesamiento del lenguaje natural (PNL)

El gigante de los motores de búsqueda ha estado en las noticias recientemente debido a la proclamación de que ha logrado la supremacía cuántica con su ordenador Sycamore (procesador con 53 qubits).

El documento publicado en la prestigiosa revista Nature de Google, afirma que Sycamore realizó un cálculo aleatorio relacionado con la generación de números en solo 200 segundos, ¡lo que habría llevado al supercomputador más rápido existente en más de 10.000 años!

A pesar de ser el mayor competidor de computación cuántica de Google, IBM no tardó en aceptar el reto, citando que el primero no consideró el almacenamiento en disco abundante y otros métodos de optimización. Sin embargo, la refutación de IBM reconoció el hecho de que fue un avance significativo hacia el futuro basado en la computación cuántica .

“El experimento de Google es una excelente demostración del progreso en la computación cuántica basada en superconductores”, pero no debe verse como una prueba de que las computadoras cuánticas son ‘supremas’ sobre las computadoras clásicas”. Investigadores de IBM.

Sin embargo, las noticias de supremacía cuántica eclipsaron otro cambio significativo que Google lanzó poco después de este anuncio. Basado en técnicas de PNL de vanguardia desarrolladas por el equipo interno del gigante de los motores de búsqueda, se ha implementado un nuevo algoritmo de búsqueda durante los últimos 10 meses. (Ver artículo: ¿Que tanto sabe Google de nosotros?)

Apodado como BERT : ‘Bidirectional Encoder Representations from Transformers’ es una versión refinada y sofisticada del algoritmo de búsqueda central más antiguo, donde este último básicamente trata una oración como una cadena de palabras en busca de palabras importantes para devolver los resultados locales más cercanos. Una comparación de la diferencia de búsqueda entre el modelo anterior y el BERT se puede en la imagen mostrada más abajo.

Resultados de búsqueda viejo algoritmo y BERT

El nuevo algoritmo no elimina algunas de las palabras de la consulta como “sin importancia”. BERT intenta comprender el contexto de las palabras a medida que se utilizan en la consulta para devolver los resultados que más se acercan a la consulta. El modelo BERT, cuando es aplicado tanto a los fragmentos destacados como a los clasificados, hace un trabajo mucho mejor para encontrar la información más útil.

BERT es un código abierto de pre-formación técnica de PNL, que se ha basado en el trabajo en otros modelos similares como Elmo , y ULMFit . BERT, sin embargo, tiene la ventaja de ser la primera representación de lenguaje profundamente bidireccional y sin supervisión del mundo, pre-entrenada usando solo texto plano. También se puede utilizar para capacitar a otros sofisticados sistemas de preguntas y respuestas, basados ​​en diferentes modelos en tan solo 30 minutos.

Un problema común con las técnicas de aprendizaje automático ha sido el sesgo de sus modelos de entrenamiento y, aunque Google insiste en que el uso de la técnica de PNL no va a aumentar el sesgo, algunas de las metodologías de clasificación de sus resultados de búsqueda se basan en una variedad de herramientas. Incluyendo BERT ha sido intencionalmente mantenido misterioso por Google, lo que plantea algunas preguntas.

Todos los cambios pasarán por algunas pruebas de control de calidad para garantizar que la nueva técnica realmente mejore los resultados de búsqueda. Por ahora, BERT se desplegará para una de cada diez búsquedas en los EE. UU.

 


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

WhatsApp chat