Embeddings - что такое векторные представления текста и зачем они нужны

Словарь ИИ · Время чтения: 4 минуты

Как это работает - объясняю на пальцах

Представь, что каждое слово или фраза получает «координаты» в огромном многомерном пространстве. Слова «автомобиль» и «машина» окажутся очень близко. «Автомобиль» и «бухгалтерия» - далеко. «Уволить сотрудника» и «расторгнуть трудовой договор» - почти рядом, хотя слова совершенно разные.

Технически: модель embedding превращает любой текст в список чисел. OpenAI text-embedding-3-small генерирует вектор из 1536 чисел для каждого фрагмента. Это и есть его «координаты» в пространстве смыслов. Расстояние между векторами считается через косинусное расстояние - математический способ сравнить два направления в пространстве.

Ключевой момент: embeddings понимают смысл, а не форму. Это то, что делает их принципиально лучше поиска по ключевым словам. Технология подробно описана в документации OpenAI Embeddings - там же можно найти сравнение моделей и рекомендации по выбору.

Зачем embeddings нужны бизнесу

• Семантический поиск - клиент пишет «не работает оплата», система находит статью «ошибка при проведении транзакции». По ключевым словам не нашло бы, по смыслу - нашло
• RAG-системы - перед ответом ИИ ищет в корпоративной базе самые близкие по смыслу фрагменты и передаёт их модели как контекст
• Дедупликация - автоматически находит похожие заявки, дублирующиеся карточки товаров, близкие по смыслу отзывы
• Кластеризация обращений - группирует запросы клиентов по темам без ручной разметки, чтобы найти системные проблемы
• Рекомендации - «похожие товары» и «вам также понравится» строятся именно на embeddings

Популярные инструменты для embeddings

Облачные API

• OpenAI text-embedding-3-small - быстро, дёшево, хорошо работает с русским. Для большинства задач хватает
• OpenAI text-embedding-3-large - точнее в 6-8%, стоит примерно в 5 раз дороже. Оправдан для больших баз
• Yandex GPT Embeddings - данные остаются в российском облаке, хорошая поддержка русского языка

Open-source (запуск локально)

• sentence-transformers - библиотека Python с готовыми моделями, бесплатно, данные не покидают сервер
• E5-large (Microsoft) - отличные результаты на русскоязычных текстах, запускается на CPU
• BGE-M3 - многоязычная модель, популярна в российских RAG-проектах

Все эти инструменты используются вместе с векторными базами данных для хранения и поиска векторов. Полная карта инструментов - в хабе «Инструменты ИИ».

Embeddings в RAG-пайплайне - пошагово

Вот как embeddings работают внутри типичной RAG-системы:

• 1. Документы разбиваются на чанки (500-1000 символов)
• 2. Каждый чанк превращается в вектор через embedding-модель
• 3. Векторы сохраняются в векторную БД (ChromaDB, Pinecone, Qdrant)
• 4. Вопрос пользователя → тоже становится вектором
• 5. Система ищет top-3 ближайших вектора в базе
• 6. Найденные фрагменты + вопрос → отдаются LLM для формирования ответа