Embeddings

Sebelum mengimplementasikan embeddings

Saat memilih penyedia embeddings, ada beberapa faktor yang dapat Anda pertimbangkan tergantung pada kebutuhan dan preferensi Anda:

• Ukuran dataset & kekhususan domain: ukuran dataset pelatihan model dan relevansinya terhadap domain yang ingin Anda embed. Data yang lebih besar atau lebih spesifik terhadap domain umumnya menghasilkan embeddings dalam-domain yang lebih baik
• Performa inferensi: kecepatan pencarian embedding dan "latency" (latensi) end-to-end. Ini merupakan pertimbangan yang sangat penting untuk deployment produksi berskala besar
• Kustomisasi: opsi untuk pelatihan lanjutan pada data privat, atau spesialisasi model untuk domain yang sangat spesifik. Ini dapat meningkatkan performa pada kosakata yang unik

Cara mendapatkan embeddings dengan Anthropic

Anthropic tidak menawarkan model embedding sendiri. Salah satu penyedia embeddings dengan beragam model dan kemampuan adalah Voyage AI oleh MongoDB.

Voyage AI membuat model embedding dan reranker. Model embedding-nya mencakup model serbaguna, multimodal, terkontekstualisasi, dan spesifik domain.

Sisa panduan ini ditujukan untuk Voyage AI, tetapi Anda sebaiknya menilai berbagai vendor embeddings untuk menemukan yang paling sesuai dengan kasus penggunaan spesifik Anda.

Model yang tersedia

Voyage AI menawarkan model text embedding berikut:

Generasi terbaru

Generasi sebelumnya

Untuk status siklus hidup setiap model dan pengganti yang direkomendasikan, lihat Model deprecations, lifecycle states, and support dalam dokumentasi MongoDB.

Selain itu, Voyage AI menawarkan model embedding multimodal berikut. Panggil model-model ini dengan multimodal_embed() alih-alih embed():

Model contextualized chunk embedding berikut menghasilkan vektor tingkat chunk yang menangkap konteks dokumen secara penuh tanpa augmentasi metadata manual. Panggil model-model ini dengan contextualized_embed() alih-alih embed():

Batas 120.000 token berlaku ketika Anda mengatur enable_auto_chunking ke true. Jika tidak, jumlah total token di semua input tidak boleh melebihi 32.000.

Voyage AI juga menawarkan reranker, yang menerima sebuah query dan daftar dokumen lalu mengembalikannya dalam urutan berdasarkan relevansi terhadap query tersebut. Panggil model-model ini dengan rerank():

Butuh bantuan memutuskan model mana yang akan digunakan? Lihat Voyage AI embedding and reranking models overview dalam dokumentasi MongoDB.

Memulai dengan Voyage AI

Untuk mengakses model Voyage AI, buat kunci API model di MongoDB Atlas:

1. Buat akun MongoDB Atlas, atau masuk.
2. Di proyek Atlas Anda, pilih AI Model APIs di bilah navigasi, klik Create model API key, beri nama kunci tersebut, lalu klik Create.
3. Atur kunci API sebagai variabel lingkungan untuk kemudahan:

export VOYAGE_API_KEY="<your model API key>"

Untuk detail lebih lanjut, lihat Voyage AI quick start dalam dokumentasi MongoDB.

Anda dapat memperoleh embeddings dengan menggunakan paket Python voyageai resmi atau permintaan HTTP, seperti yang dijelaskan di bagian-bagian berikut. Voyage AI juga memiliki klien TypeScript resmi. Untuk menggunakannya dengan kunci API model dari Atlas, atur opsi environment-nya ke https://ai.mongodb.com/v1, seperti yang dijelaskan dalam TypeScript client dalam dokumentasi MongoDB.

Pustaka Python Voyage AI

Instal paket voyageai menggunakan perintah berikut. Untuk menggunakan kunci API model dari Atlas, Anda memerlukan versi 0.3.7 atau yang lebih baru.

pip install -U voyageai

Kemudian, Anda dapat membuat objek client dan mulai menggunakannya untuk meng-embed teks Anda:

import voyageai

vo = voyageai.Client()
# Ini akan otomatis menggunakan variabel lingkungan VOYAGE_API_KEY.
# Sebagai alternatif, Anda dapat menggunakan vo = voyageai.Client(api_key="<kunci API model Anda>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings adalah daftar berisi dua vektor embedding, masing-masing berisi 1024 bilangan floating-point. Setelah menjalankan kode di atas, kedua embeddings tersebut dicetak di layar:

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

Saat membuat embeddings, Anda dapat menentukan beberapa argumen lain pada fungsi embed().

Untuk informasi lebih lanjut tentang paket Python, lihat Accessing Voyage AI models dalam dokumentasi MongoDB.

HTTP API Voyage AI

Anda juga dapat memperoleh embeddings dengan mengirimkan permintaan HTTP ke Atlas Embedding and Reranking API. Misalnya, Anda dapat mengirim permintaan HTTP melalui perintah curl di terminal:

curl https://ai.mongodb.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4",
    "input_type": "document"
  }'

Respons yang akan Anda dapatkan adalah objek JSON yang berisi embeddings dan penggunaan token:

{
  "object": "list",
  "data": [
    {
      "object": "embedding",
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "object": "embedding",
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Kunci API model dari Atlas berfungsi dengan ai.mongodb.com, kecuali kunci yang dibatasi pada suatu geografi, yang menggunakan endpoint geografi tersebut. Jika Anda memiliki kunci API dari platform Voyage AI, lihat Migrate your applications to use the Atlas Embedding and Reranking API dalam dokumentasi MongoDB.

Untuk referensi lengkap permintaan dan respons, lihat Create text embeddings dalam dokumentasi Atlas Embedding and Reranking API.

AWS Marketplace

Model Voyage AI juga tersedia di AWS Marketplace melalui profil penjual MongoDB. Untuk petunjuknya, lihat Deploy Voyage AI models using AWS Marketplace dalam dokumentasi MongoDB.

Contoh quickstart

Contoh singkat berikut menunjukkan cara menggunakan embeddings.

Misalkan Anda memiliki korpus kecil berisi enam dokumen untuk di-retrieve

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

Pertama, gunakan Voyage AI untuk mengonversi setiap dokumen menjadi vektor embedding.

import voyageai

vo = voyageai.Client()

# Buat embedding untuk dokumen
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

Embeddings memungkinkan Anda melakukan pencarian semantik / retrieval di ruang vektor. Diberikan sebuah contoh query,

query = "When is Apple's conference call scheduled?"

Selanjutnya, konversikan query tersebut menjadi embedding dan lakukan pencarian nearest neighbor untuk menemukan dokumen yang paling relevan berdasarkan jarak di ruang embedding.

import numpy as np

# Buat embedding untuk kueri
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# Hitung kemiripan
# Embedding Voyage AI dinormalisasi ke panjang 1, sehingga dot-product
# dan cosine similarity bernilai sama.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Perhatikan bahwa input_type="document" dan input_type="query" digunakan masing-masing untuk meng-embed dokumen dan query. Untuk informasi lebih lanjut tentang input_type, lihat Kapan dan bagaimana saya sebaiknya menggunakan parameter input_type? di FAQ.

Outputnya adalah dokumen kelima, yang memang paling relevan dengan query tersebut:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Jika Anda mencari kumpulan resep terperinci tentang cara melakukan RAG dengan embeddings, termasuk database vektor, lihat resep RAG.

FAQ

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# Hasilkan vektor voyage-code-4, yang secara default berupa bilangan floating-point 1024 dimensi
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-4").embeddings

# Tetapkan dimensi yang lebih pendek
short_dim = 256

# Ubah ukuran dan normalisasi vektor ke dimensi yang lebih pendek
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()

Harga

Untuk detail harga terbaru, lihat Model pricing dalam dokumentasi MongoDB.