Ai Crawl4AI RAG MCP Server

Czym jest i jak go zainstalować na Ubuntu Server

Wprowadzenie

Crawl4AI RAG MCP Server to zaawansowane narzędzie oparte na protokole Model Context Protocol (MCP), które integruje bibliotekę Crawl4AI oraz bazę danych Supabase, umożliwiając agentom AI i asystentom kodowania zaawansowane możliwości przeszukiwania sieci i generowania odpowiedzi w oparciu o technologię Retrieval-Augmented Generation (RAG). Służy do indeksowania treści internetowych, przechowywania ich w wektorowej bazie danych oraz wyszukiwania semantycznego, co jest szczególnie przydatne w zadaniach wymagających precyzyjnego dostępu do informacji, takich jak wyszukiwanie przykładów kodu czy analiza repozytoriów GitHub.

Do czego służy?

Crawl4AI RAG MCP Server umożliwia:

• Przeszukiwanie sieci: Automatyczne pobieranie treści z witryn internetowych, w tym stron, map witryn czy plików tekstowych.
• Przetwarzanie RAG: Wyszukiwanie semantyczne w indeksowanych danych, z opcjami filtrowania źródeł i strategiami poprawiającymi precyzję (np. Contextual Embeddings, Hybrid Search).
• Wsparcie dla kodowania: Wyszukiwanie przykładów kodu i ich podsumowań z dokumentacji (po włączeniu USE_AGENTIC_RAG).
• Detekcja halucynacji AI: Analiza skryptów Pythona w celu wykrycia błędów w generowanym kodzie przy użyciu grafu wiedzy Neo4j (po włączeniu USE_KNOWLEDGE_GRAPH).
• Integracja z Archon: Docelowo serwer ma być częścią silnika wiedzy dla asystentów kodowania AI, takich jak Claude Desktop czy Cursor.

Jest to rozwiązanie dla programistów i twórców AI, którzy chcą wzbogacić swoje aplikacje o dostęp do aktualnych danych z sieci lub zweryfikować poprawność generowanego kodu.

Instalacja na Ubuntu Server

Poniżej przedstawiono krótką instrukcję instalacji Crawl4AI RAG MCP Server na Ubuntu Server przy użyciu Dockera, który jest zalecaną metodą ze względu na prostotę i izolację zależności.

Wymagania wstępne

• Ubuntu Server (np. 20.04, 22.04, 24.04).
• Zainstalowany Docker i Docker Compose.
• Konto Supabase (dla bazy danych z rozszerzeniem pgvector).
• Klucz API OpenAI (dla generowania osadzeń).
• Opcjonalnie: Neo4j (dla funkcji grafu wiedzy).

Krok 1: Instalacja Dockera

Zainstaluj Docker, jeśli nie jest jeszcze obecny:

sudo apt-get update
sudo apt-get install -y docker.io
sudo systemctl start docker
sudo systemctl enable docker

Krok 2: Klonowanie repozytorium

Sklonuj repozytorium Crawl4AI RAG MCP Server:

git clone https://github.com/coleam00/mcp-crawl4ai-rag.git
cd mcp-crawl4ai-rag

Krok 3: Konfiguracja pliku .env

Stwórz plik .env w katalogu głównym projektu i dodaj następujące zmienne:

HOST=0.0.0.0
PORT=8051
TRANSPORT=sse
OPENAI_API_KEY=your_openai_api_key
MODEL_CHOICE=gpt-4.1-nano
USE_CONTEXTUAL_EMBEDDINGS=false
USE_HYBRID_SEARCH=true
USE_AGENTIC_RAG=false
USE_RERANKING=true
USE_KNOWLEDGE_GRAPH=false
SUPABASE_URL=your_supabase_project_url
SUPABASE_SERVICE_KEY=your_supabase_service_key

Zastąp your_openai_api_key, your_supabase_project_url i your_supabase_service_key swoimi danymi z konta OpenAI i Supabase. Jeśli używasz Neo4j, dodaj również:

NEO4J_URI=bolt://localhost:7687
NEO4J_USER=neo4j
NEO4J_PASSWORD=your_neo4j_password

Krok 4: Konfiguracja bazy danych Supabase

Zaloguj się do panelu Supabase, utwórz nowy projekt, a następnie w edytorze SQL wykonaj zapytanie z pliku crawled_pages.sql (znajduje się w repozytorium), aby utworzyć tabele i funkcje.

# W Supabase SQL Editor:
# Wklej zawartość crawled_pages.sql i wykonaj zapytanie

Krok 5: Budowanie i uruchamianie obrazu Dockera

Zbuduj obraz Dockera i uruchom serwer:

docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .
docker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag

Krok 6: Weryfikacja działania

Serwer powinien działać na porcie 8051. Możesz przetestować połączenie, dodając serwer do klienta MCP (np. Claude Desktop) za pomocą konfiguracji SSE:

{
  "mcpServers": {
    "crawl4ai-rag": {
      "transport": "sse",
      "url": "http://localhost:8051/sse"
    }
  }
}

Zapisz konfigurację w pliku mcp.json w odpowiednim katalogu klienta MCP.

Opcjonalnie: Instalacja Neo4j dla grafu wiedzy

Jeśli chcesz włączyć funkcje detekcji halucynacji, zainstaluj Neo4j:

git clone https://github.com/coleam00/local-ai-packaged.git
cd local-ai-packaged
docker-compose up -d

Sprawdź dokumentację Local AI Package, aby uzyskać domyślne dane logowania Neo4j.

Podsumowanie

Crawl4AI RAG MCP Server to potężne narzędzie dla programistów i twórców AI, umożliwiające zaawansowane przeszukiwanie sieci i generowanie odpowiedzi w oparciu o dane zewnętrzne. Instalacja na Ubuntu Server jest prosta dzięki Dockerowi, a konfiguracja wymaga jedynie kilku poleceń i ustawienia zmiennych środowiskowych. Po uruchomieniu serwer może być zintegrowany z klientami MCP, takimi jak Claude Desktop czy Cursor, aby wspierać zadania kodowania i analizy danych. W przyszłości planowana jest głębsza integracja z Archon oraz wsparcie dla lokalnych modeli osadzeń, takich jak Ollama.

Źródła: Instrukcje oparte na dokumentacji repozytorium coleam00/mcp-crawl4ai-rag oraz informacjach z witryn takich jak lobehub.com i ubos.tech.