🔍 Hybrid RAG-Chat

📋 Projektübersicht

🛠️ Technologie-Stack

🏗️ System-Architektur

⚙️ Hauptkomponenten

🔍 Hybrid-Search Algorithmus

💻 Code-Beispiele

1. Konfiguration

# Modell-Konfiguration
EMBED_MODEL = "nomic-embed-text"
CHAT_MODEL = "llama3"
TEMPERATURE = 0.3  # Niedrig für faktentreue Antworten

# Hybrid-Search Gewichtung
HYBRID_ALPHA = 0.6  # 60% Embeddings, 40% BM25

# Chunking-Parameter
CHUNK_MAX_CHARS = 700
CHUNK_OVERLAP = 200

2. Text-Chunking

def chunk_text(text: str, max_chars: int, overlap: int):
    chunks = []
    start = 0
    step = max_chars - overlap
    
    while start < len(text):
        end = min(start + max_chars, len(text))
        chunk = text[start:end]
        if chunk:
            chunks.append(chunk)
        start += step
    
    return chunks

3. Embedding-Erstellung

def embed_query(query: str, model: str):
    # Automatische Gerätewahl
    device = "cuda" if torch.cuda.is_available() \
        else "mps" if torch.backends.mps.is_available() \
        else "cpu"
    
    # Embedding von Ollama generieren
    resp = ollama.embeddings(model=model, prompt=query)
    vec = torch.tensor(resp["embedding"], device=device)
    
    # Normalisierung für konsistente Vergleiche
    vec = vec / (vec.norm() + 1e-12)
    
    return vec.cpu().numpy().reshape(1, -1)

4. Hybrid-Search Core

def hybrid_search(query, collection, bm25, chunks, top_k, alpha):
    # 1. BM25-Scores (Keyword)
    bm25_scores = bm25.get_scores(query.lower().split())
    bm25_norm = normalize(bm25_scores)
    
    # 2. Embedding-Scores (Semantik)
    query_vec = embed_query(query, EMBED_MODEL)
    results = collection.query(query_embeddings=query_vec)
    embedding_scores = convert_distances_to_similarity(results)
    embedding_norm = normalize(embedding_scores)
    
    # 3. Kombiniere mit Alpha-Gewichtung
    hybrid_scores = alpha * embedding_norm + (1 - alpha) * bm25_norm
    
    # 4. Wähle Top-K Chunks
    top_indices = np.argsort(hybrid_scores)[::-1][:top_k]
    return [chunks[i] for i in top_indices]

5. RAG-Antwort mit Streaming

def rag_answer_hybrid(query, collection, bm25, chunks, stream=True):
    # Hybrid-Suche durchführen
    selected = hybrid_search(query, collection, bm25, chunks)
    
    # Kontext erstellen
    context = "\n\n".join(selected)
    
    # Prompt mit XML-Struktur
    user_prompt = f"""<kontext>{context}</kontext>
<frage>{query}</frage>"""
    
    messages = [
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": user_prompt}
    ]
    
    return ollama.chat(model=CHAT_MODEL, messages=messages, stream=stream)

6. System-Prompt (optimiert)

"""Du bist ein sachlicher Informationsassistent.

<grundregeln>
1. Lies den KONTEXT sorgfältig
2. Beantworte NUR mit Informationen aus dem KONTEXT
3. Wenn KONTEXT die Antwort enthält: Gib informative Antwort
4. Wenn NICHT im KONTEXT: "Dazu finde ich keine Informationen."
5. NIEMALS beides kombinieren
6. NIEMALS Meta-Kommentare
</grundregeln>

<antwortformat>
- Beginne direkt (KEINE "Ja!", "Definitiv!")
- Nutze wertschätzende Adjektive im Satzverlauf
- Einfache Fragen: 1-2 Sätze mit Details
- Komplexe Fragen: 3-4 Sätze
</antwortformat>"""

🖥️ Streamlit-Interface

# Streamlit Chat-Loop
if prompt := st.chat_input("Welche Frage hast du?"):
    with st.chat_message("assistant"):
        full_response = ""
        placeholder = st.empty()
        
        # Stream die Antwort
        for chunk in rag_answer_hybrid(prompt, stream=True):
            full_response += chunk["message"]["content"]
            placeholder.markdown(full_response + "▌")  # Cursor
        
        placeholder.markdown(full_response)  # Final

⚡ Performance-Optimierungen

🎯 Anwendungsfälle

✨ Vorteile des Hybrid-Ansatzes

🚀 Getting Started

# Ollama installieren und Modelle herunterladen
ollama pull llama3
ollama pull nomic-embed-text

# Python-Pakete installieren
pip install streamlit chromadb rank-bm25 torch numpy ollama

export OMP_NUM_THREADS=1
export KMP_DUPLICATE_LIB_OK=TRUE

streamlit run hybrid_search.py

# In hybrid_search.py anpassen:
DOC_PATHS = ["/pfad/zu/deinem/dokument.txt"]
BM25_INDEX_PATH = "/pfad/zum/bm25_index.pkl"

🔮 Mögliche Erweiterungen