Эмбеддинги



Перед внедрением эмбеддингов

При выборе поставщика «embeddings» (эмбеддингов) есть несколько факторов, которые вы можете учитывать в зависимости от ваших потребностей и предпочтений:

• Размер набора данных и специфичность домена: размер набора данных для обучения модели и его релевантность домену, который вы хотите векторизовать. Более крупные или более специфичные для домена данные обычно дают лучшие эмбеддинги внутри домена
• Производительность инференса: скорость поиска эмбеддингов и сквозная «latency» (задержка). Это особенно важный фактор для крупномасштабных производственных развертываний
• Настройка: возможности продолжения обучения на частных данных или специализации моделей для очень специфичных доменов. Это может улучшить производительность на уникальных словарях



Как получить эмбеддинги с Anthropic

Anthropic не предлагает собственную модель эмбеддингов. Одним из поставщиков эмбеддингов, который имеет широкий спектр вариантов и возможностей, охватывающих все вышеперечисленные соображения, является Voyage AI.

Voyage AI создает передовые модели эмбеддингов и предлагает настроенные модели для конкретных отраслевых доменов, таких как финансы и здравоохранение, или индивидуально дообученные модели для отдельных клиентов.

Остальная часть этого руководства посвящена Voyage AI, но вам следует оценить различных поставщиков эмбеддингов, чтобы найти наиболее подходящий вариант для вашего конкретного случая использования.



Доступные модели

Voyage рекомендует использовать следующие модели текстовых эмбеддингов:

Voyage 4 (последнее поколение)

Предыдущее поколение

Кроме того, Voyage рекомендует следующие мультимодальные модели эмбеддингов:

Следующие модели контекстуализированных эмбеддингов фрагментов создают векторы на уровне фрагментов, которые захватывают полный контекст документа без ручного дополнения метаданными. Вызывайте эти модели с помощью contextualized_embed() вместо embed():

Voyage AI также предлагает «rerankers» (реранкеры), которые принимают запрос и список документов и возвращают их, ранжированными по релевантности запросу. Вызывайте эти модели с помощью rerank():

Нужна помощь в выборе модели текстовых эмбеддингов? Ознакомьтесь с FAQ Voyage AI.



Начало работы с Voyage AI

Чтобы получить доступ к эмбеддингам Voyage:

1. Зарегистрируйтесь на веб-сайте Voyage AI.
2. Получите ключ API.
3. Установите ключ API как переменную окружения для удобства:

export VOYAGE_API_KEY="<your secret key>"

Вы можете получить эмбеддинги, используя официальный Python-пакет voyageai или HTTP-запросы, как описано в следующих разделах.



Библиотека Voyage для Python

Установите пакет voyageai с помощью следующей команды:

pip install -U voyageai

Затем вы можете создать объект клиента и начать использовать его для векторизации ваших текстов:

import voyageai

vo = voyageai.Client()
# Это автоматически использует переменную окружения VOYAGE_API_KEY.
# Также можно использовать vo = voyageai.Client(api_key="<your secret key>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings — это список из двух векторов эмбеддингов, каждый из которых содержит 1024 числа с плавающей запятой. После выполнения приведенного выше кода два эмбеддинга выводятся на экран:

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

При создании эмбеддингов вы можете указать несколько других аргументов функции embed().

Для получения дополнительной информации о Python-пакете Voyage см. документацию Python-пакета Voyage.



HTTP API Voyage

Вы также можете получить эмбеддинги, обратившись к HTTP API Voyage. Например, вы можете отправить HTTP-запрос через команду curl в терминале:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

Ответ, который вы получите, — это JSON-объект, содержащий эмбеддинги и использование токенов:

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Для получения дополнительной информации о HTTP API Voyage см. документацию HTTP API Voyage.



AWS Marketplace

Эмбеддинги Voyage доступны на AWS Marketplace. Инструкции по доступу к Voyage на AWS доступны в документации Voyage для AWS Marketplace.



Пример быстрого старта

Следующий краткий пример показывает, как использовать эмбеддинги.

Предположим, у вас есть небольшой корпус из шести документов для поиска

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

Сначала используйте Voyage для преобразования каждого документа в вектор эмбеддинга.

import voyageai

vo = voyageai.Client()

# Встраиваем документы
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

Эмбеддинги позволяют выполнять семантический поиск / извлечение в векторном пространстве. Для примера запроса,

query = "When is Apple's conference call scheduled?"

Далее преобразуйте его в эмбеддинг и выполните поиск ближайшего соседа, чтобы найти наиболее релевантный документ на основе расстояния в пространстве эмбеддингов.

import numpy as np

# Встраиваем запрос
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# Вычисляем сходство
# Эмбеддинги Voyage нормализованы к длине 1, поэтому скалярное произведение
# и косинусное сходство совпадают.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Обратите внимание, что input_type="document" и input_type="query" используются для векторизации документа и запроса соответственно. Дополнительные спецификации можно найти в разделе Библиотека Voyage для Python.

Результатом является пятый документ, который действительно наиболее релевантен запросу:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Если вы ищете подробный набор рецептов о том, как выполнять RAG с эмбеддингами, включая векторные базы данных, ознакомьтесь с рецептом RAG.



FAQ



Цены

Посетите страницу цен Voyage для получения самой актуальной информации о ценах.