Audyt indirect prompt injection w systemach agentowych

Mapa źródeł nieufnej treści

• Masz listę wszystkich miejsc, z których agent czyta treść spoza kontrolowanego systemu.
• Oddzielasz treści od użytkownika, treści z internetu, wyniki narzędzi, załączniki, komentarze, maile i dane z integracji.
• Dla każdego źródła oznaczasz, czy tekst może zawierać instrukcje próbujące sterować modelem.
• Traktujesz nieufną treść jako dane do analizy, a nie jako instrukcje dla agenta.
• Masz przykłady wejść testowych, w których nieufna treść próbuje zmienić cel zadania albo ujawnić dane.

Minimalizacja kontekstu

• Agent dostaje tylko te fragmenty treści, które są potrzebne do bieżącego zadania.
• Nie doklejasz pełnych maili, stron, historii rozmów i wyników wyszukiwania, jeśli wystarczy wycinek.
• Przed przekazaniem treści do modelu usuwasz albo streszczasz fragmenty ewidentnie niezwiązane z zadaniem.
• Długie dokumenty są dzielone na fragmenty z jasnym opisem źródła i poziomu zaufania.
• Nie mieszacie w jednym kontekście prywatnych danych, instrukcji systemowych i nieufnej treści bez wyraźnych granic.

Rozdzielenie danych od instrukcji

• Prompt systemowy jasno mówi, że tekst z maili, stron, dokumentów i narzędzi jest danymi, nie instrukcjami.
• Agent ma osobne pola na cel zadania, zaufane instrukcje, nieufną treść oraz wynik analizy.
• Przy zapisie danych nie przechowujesz ukrytych instrukcji razem z przyszłymi poleceniami dla modelu.
• Przy odczycie danych agent widzi informację, z jakiego źródła pochodzi treść i jaki ma poziom zaufania.
• W odpowiedziach po analizie nieufnej treści agent najpierw raportuje wnioski, a dopiero potem proponuje akcje.

Ograniczanie możliwości agenta

• Agent nie może samodzielnie wykonywać akcji wysokiego ryzyka po przeczytaniu nieufnej treści.
• Wysyłka maila, publikacja, płatność, zmiana danych i udostępnienie pliku wymagają osobnego potwierdzenia człowieka.
• Narzędzia agenta mają minimalne uprawnienia potrzebne do zadania.
• Agent nie ma jednocześnie szerokiego odczytu prywatnych danych i szerokiego zapisu do systemów zewnętrznych.
• Każda akcja zmieniająca stan pokazuje człowiekowi źródło informacji, plan działania i treść wyniku przed wykonaniem.

Monitoring i reakcja

• Logujesz przypadki, w których agent czyta nieufną treść i zaraz potem próbuje wykonać akcję zmieniającą stan.
• Monitorujesz nietypowe prośby o ujawnienie instrukcji, tokenów, danych klientów albo konfiguracji narzędzi.
• Masz test regresji z przykładowymi próbami indirect prompt injection dla najważniejszych przepływów.
• Wiesz, kto sprawdza alerty i jak szybko blokuje wadliwy przepływ.
• Po incydencie dopisujesz brakujący guard do promptu, walidatora, uprawnień albo interfejsu potwierdzenia.

Priorytet audytu

• Najpierw sprawdzasz przepływy, w których agent czyta maile, strony albo dokumenty i może wysłać wiadomość.
• Drugim priorytetem są przepływy z narzędziami administracyjnymi, CRM, plikami, płatnościami i publikacją treści.
• Trzecim priorytetem są długie konteksty, pamięć agenta i ponowne użycie streszczeń z nieufnych źródeł.
• Nie zakładasz, że filtr słów kluczowych wystarczy, bo atak może być opisowy, pośredni albo rozbity na kilka fragmentów.
• Za gotowy uznajesz dopiero przepływ, w którym model może przeczytać złośliwą treść, ale nie może sam wykonać szkodliwej akcji.