Vigil Guard jest już oficjalnym dostawcą guardrail dla bramy AI LiteLLM
Co się zmieniło
Vigil Guard jest teraz oficjalnym dostawcą guardrail dla bramy AI LiteLLM. Po przejściu procesu akceptacji partnera w LiteLLM został zintegrowany bezpośrednio z ekosystemem LiteLLM i figuruje w sekcji Guardrail Providers, obok uznanych rozwiązań takich jak Lakera, Aporia, Bedrock Guardrails czy Azure Content Safety. Sama integracja jest utrzymywana jako część LiteLLM.
Wcześniej podłączenie Vigil Guard do LiteLLM oznaczało wdrożenie i utrzymywanie osobnego connectora. Ten krok znika. Dostawca vigil_guard jest teraz wbudowany bezpośrednio w LiteLLM Proxy, co eliminuje dodatkowe usługi, narzut wdrożeniowy i zależności przy aktualizacjach. Dla zespołów uruchamiających AI na produkcji usuwa to istotną przeszkodę operacyjną.
Dlaczego to ważne
LiteLLM Proxy stało się bramą AI pierwszego wyboru dla wielu organizacji i stoi przed OpenAI, Anthropic, Azure OpenAI, Bedrock, a także przed modelami hostowanymi we własnej infrastrukturze. Egzekwując guardrail na warstwie proxy, organizacje mogą stosować jedną politykę bezpieczeństwa wobec każdego modelu w swoim środowisku, z jednego, centralnego punktu kontroli.
Gdy mechanizm bezpieczeństwa odpowiada za prześwietlanie każdego żądania i każdej odpowiedzi, prostota ma znaczenie. Mniej ruchomych części to mniej okazji, by ochrona po cichu zawiodła podczas aktualizacji, zmian konfiguracji czy prac utrzymaniowych w infrastrukturze.
Jak to działa
Dodajesz blok guardrail do config.yaml z guardrail: vigil_guard, trybem oraz adresem i kluczem swojego Vigil Guard. Integracja prześwietla obie strony wywołania modelu: kontrola pre_call sprawdza prompty zanim trafią do modelu, a kontrola post_call sprawdza odpowiedzi modelu i argumenty wywołań narzędzi zanim dotrą do Twoich aplikacji.
Na podstawie oceny polityki Vigil Guard zwraca w czasie rzeczywistym jedną z trzech decyzji: ALLOW, SANITIZE albo BLOCK. W panelu administracyjnym LiteLLM wybierasz Vigil Guard z listy Guardrail Provider podczas tworzenia nowego guardrail, a następnie wskazujesz swoje wdrożenie.
| Ustawienie | Wartość | Co robi |
|---|---|---|
| mode: pre_call | skan wejścia | Sprawdza prompt przed uruchomieniem modelu |
| mode: post_call | skan wyjścia | Sprawdza odpowiedź modelu i argumenty wywołań narzędzi |
| Decyzja | ALLOW / SANITIZE / BLOCK | Przepuszcza, redaguje lub blokuje żądanie wg polityki |
| unreachable_fallback | fail-closed (domyślnie) | Blokuje żądanie, gdy backend jest nieosiągalny |
| unreachable_fallback: fail_open | opcjonalnie | Przepuszcza ruch, gdy dostępność jest ważniejsza niż twarde egzekwowanie |
Czego potrzebujesz
Działającego wdrożenia Vigil Guard Enterprise osiągalnego z Twojego LiteLLM Proxy oraz jego klucza API. Ponieważ Vigil Guard działa we własnej infrastrukturze, prompty, odpowiedzi i wrażliwe dane biznesowe pozostają w pełni pod Twoją kontrolą i nigdy nie opuszczają Twojego środowiska.
Wskazujesz LiteLLM na instancję dwiema zmiennymi środowiskowymi, VIGIL_GUARD_URL i VIGIL_GUARD_API_KEY, i odwołujesz się do guardrail po nazwie w żądaniach, które chcesz objąć kontrolą.
Jak zacząć
Pełny przewodnik konfiguracji znajdziesz w oficjalnej dokumentacji LiteLLM: docs.litellm.ai/docs/proxy/guardrails/vigil_guard.
Aby postawić instancję Vigil Guard Enterprise za swoją bramą, zajrzyj na vigilguard.ai/developers lub skontaktuj się z naszym zespołem. Z dumą dołączamy do oficjalnego ekosystemu guardrail w LiteLLM i cieszymy się, że będziemy pomagać organizacjom wdrażać bezpieczne AI na dużą skalę.