Comparatif Embeddings Azure OpenAI : Ada-002 vs 3-Small vs 3-Large

pip install openai azure-identity

from openai import AzureOpenAI

client = AzureOpenAI(
    api_key="YOUR_API_KEY",
    api_version="2024-02-01",
    azure_endpoint="https://YOUR_RESOURCE.openai.azure.com"
)

def get_embedding(text: str, model: str = "text-embedding-3-small", dimensions: int = None):
    """
    Génère un embedding pour un texte donné.
    
    Args:
        text: Le texte à vectoriser
        model: "text-embedding-ada-002", "text-embedding-3-small", "text-embedding-3-large"
        dimensions: Nombre de dimensions (uniquement pour embedding-3)
    """
    params = {
        "input": text,
        "model": model  # Nom du déploiement Azure
    }
    
    # Les dimensions ne sont supportées que par embedding-3
    if dimensions and "3-" in model:
        params["dimensions"] = dimensions
    
    response = client.embeddings.create(**params)
    return response.data[0].embedding

# Exemples d'utilisation
# ada-002 (legacy)
emb_ada = get_embedding("Bonjour le monde", model="text-embedding-ada-002")
print(f"ada-002: {len(emb_ada)} dimensions")  # 1536

# 3-small avec dimensions par défaut
emb_small = get_embedding("Bonjour le monde", model="text-embedding-3-small")
print(f"3-small: {len(emb_small)} dimensions")  # 1536

# 3-small avec dimensions réduites
emb_small_512 = get_embedding("Bonjour le monde", model="text-embedding-3-small", dimensions=512)
print(f"3-small (512): {len(emb_small_512)} dimensions")  # 512

# 3-large avec dimensions optimisées
emb_large = get_embedding("Bonjour le monde", model="text-embedding-3-large", dimensions=1024)
print(f"3-large (1024): {len(emb_large)} dimensions")  # 1024

import numpy as np

def cosine_similarity(vec1, vec2):
    """Calcule la similarité cosinus entre deux vecteurs."""
    vec1 = np.array(vec1)
    vec2 = np.array(vec2)
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

# Exemple
emb1 = get_embedding("Comment annuler ma commande ?")
emb2 = get_embedding("Je veux annuler mon achat")
emb3 = get_embedding("Quelle est la météo aujourd'hui ?")

print(f"Similarité Q1-Q2: {cosine_similarity(emb1, emb2):.3f}")  # ~0.92 (très similaire)
print(f"Similarité Q1-Q3: {cosine_similarity(emb1, emb3):.3f}")  # ~0.45 (différent)

from azure.search.documents import SearchClient
from azure.search.documents.models import VectorizedQuery
from azure.core.credentials import AzureKeyCredential

search_client = SearchClient(
    endpoint="https://YOUR_SEARCH.search.windows.net",
    index_name="documents",
    credential=AzureKeyCredential("YOUR_SEARCH_KEY")
)

def semantic_search(query: str, top_k: int = 5):
    # Génère l'embedding de la requête
    query_vector = get_embedding(query, model="text-embedding-3-small", dimensions=1536)
    
    # Recherche vectorielle
    results = search_client.search(
        search_text=None,
        vector_queries=[
            VectorizedQuery(
                vector=query_vector,
                k_nearest_neighbors=top_k,
                fields="contentVector"
            )
        ]
    )
    
    return list(results)

# Utilisation
results = semantic_search("Comment configurer mon compte ?")
for r in results:
    print(f"Score: {r['@search.score']:.3f} - {r['title']}")