Embeddings
Los embeddings son representaciones vectoriales densas que capturan el significado de palabras, imágenes, usuarios, productos y prácticamente cualquier tipo de dato. Son fundamentales en NLP, recomendación, visión artificial y modelos modernos como Transformers.
Tabla de contenidos
- Qué es un embedding
- Por qué son importantes
- Word Embeddings
- Word2Vec
- GloVe
- Embeddings en Transformers
- Embeddings para recomendación
- Ejemplo con Keras
- Ejercicios
1. Qué es un embedding
Un embedding es un vector que representa un elemento (palabra, imagen, usuario, etc.) en un espacio continuo donde la distancia refleja similitud.
- Representación densa
- Captura significado
- Reduce dimensionalidad
- Permite cálculos matemáticos
2. Por qué son importantes
Los embeddings permiten que los modelos entiendan relaciones semánticas:
- king − man + woman ≈ queen
- Madrid cerca de Barcelona
- “perro” similar a “animal”
3. Word Embeddings
Los Word Embeddings representan palabras como vectores que capturan significado.
4. Word2Vec
Word2Vec aprende embeddings mediante dos métodos:
- CBOW (predice palabra usando contexto)
- Skip‑Gram (predice contexto usando palabra)
5. GloVe
GloVe aprende embeddings usando estadísticas globales de co‑ocurrencia.
6. Embeddings en Transformers
Los Transformers usan embeddings para representar tokens antes del Self‑Attention.
layers.Embedding(input_dim=10000, output_dim=512)
7. Embeddings para recomendación
Los embeddings también se usan para representar usuarios y productos.
- Usuarios con gustos similares → vectores cercanos
- Productos relacionados → vectores cercanos
- Base de sistemas de recomendación modernos
8. Ejemplo con Keras
import tensorflow as tf
from tensorflow.keras import layers
model = tf.keras.Sequential([
layers.Embedding(input_dim=5000, output_dim=64, input_length=100),
layers.LSTM(64),
layers.Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam', loss='binary_crossentropy')
model.summary()
9. Ejercicios
- Define qué es un embedding.
- Explica por qué los embeddings capturan significado.
- ¿Qué diferencia hay entre Word2Vec y GloVe?
- Escribe un ejemplo de capa Embedding.
- Menciona un uso de embeddings en recomendación.
# pista significado
"Vectores cercanos representan conceptos similares."# pista word2vec
"Aprende por contexto (CBOW/Skip‑Gram)."