Jak budować i sprawdzać produkty oparte na AI

Opis

Checklista budowania produktów opartych o AI: stopniowe oddawanie autonomii, evals jako kluczowa umiejętność, myślenie ogrodnika zamiast budowniczego, trzy ery internetu od kuracji do generacji, przesuwanie wąskich gardeł oraz co naprawdę poprawia aplikacje AI.

Jak to działa

Budowanie produktów opartych o AI rządzi się innymi prawami niż klasyczny software. Ta checklista zbiera frameworki liderów produktu z ery AI: stopniowe oddawanie autonomii systemowi zamiast skoku do pełnej automatyzacji, evals jako nową kluczową umiejętność, myślenie ogrodnika zamiast budowniczego, trzy ery internetu od kuracji przez rekomendację do generacji, model przesuwania wąskich gardeł, gdy AI pisze większość kodu, oraz wnioski o tym, co naprawdę poprawia aplikacje AI. Wspólny mianownik brzmi: o jakości produktu AI nie decyduje wielkość modelu, tylko lepszy prompting, ewaluacja i taste, czyli smak budowania czegoś innego, niż wygenerowałby sam model.

Przykład

Najlepsza, gdy budujesz produkt albo funkcję opartą o AI i chcesz uniknąć typowych błędów: skoku do pełnej autonomii, braku ewaluacji jakości i wiary, że większy model rozwiąże wszystko.

Najczęstsze pytania

Czym są evals w produktach AI?

Evals to systematyczna ocena jakości outputów modelu, która dla produktów AI pełni rolę, jaką metryki pełnią dla tradycyjnych produktów. Proces wygląda tak: zbierasz outputy, jedna zaufana osoba ocenia je jako dobre albo złe, definiujesz kryteria, budujesz automatyczne metryki i iterujesz. Najczęstszym błędem jest pozwalanie AI oceniać AI, bo to po prostu nie działa.

Dlaczego nie oddawać AI pełnej autonomii od razu?

Bo każde oddanie autonomii systemowi oznacza utratę kontroli, a skok od razu do pełnej automatyzacji kończy się błędami i utratą zaufania użytkowników. Lepiej budować stopniowo: najpierw sugestie z pełną kontrolą człowieka, potem generowanie z przeglądem, a dopiero na końcu pełna autonomia. Firmy, które przechodzą ten ból uczenia się teraz, budują trudną do dogonienia przewagę.

Czym jest taste w budowaniu produktów AI?

Taste, czyli smak, to zdolność tworzenia czegoś innego i lepszego niż to, co model wygenerowałby sam z siebie. W metaforze ogrodnika i budowniczego to ogrodnik osiąga wynik większy niż włożony wysiłek, bo wie, dokąd kierować. Taste nie jest wrodzonym talentem, tylko umiejętnością rozwijaną przez godziny obserwowania, jak ludzie naprawdę używają produktów.

Co naprawdę poprawia jakość aplikacji AI?

Wbrew intuicji nie chodzi głównie o więcej danych ani większe modele, tylko o lepszy prompting, dobre evals i przemyślaną strategię próbkowania odpowiedzi. Często sposób, w jaki dobierasz i oceniasz odpowiedzi modelu, daje większy skok jakości niż przejście na większy model. Dlatego warto inwestować czas w prompting i ewaluację, zanim sięgniesz po droższy model.

Jak AI zmienia wąskie gardła w pracy?

Gdy AI pisze większość kodu, praca się nie kończy, tylko wąskie gardło się przesuwa. W górę procesu rośnie znaczenie uzgadniania decyzji i kierunku, a w dół kolejki przeglądu i scalania kodu. Dlatego organizacje muszą świadomie identyfikować nowe wąskie gardła i używać AI także jako partnera do testowania pomysłów i pisania dokumentów, nie tylko do kodu.

Źródła

• Lenny's Podcast, rozmowy o produkcie, Lenny Rachitsky i goście, https://www.lennyspodcast.com. Źródło frameworków produktowych przytoczonych w checkliście, do dalszego posłuchania.

Kurs źródłowy

Materiały wewnętrzne AI Biznes Lab

Lekcja źródłowa

Evals, autonomia, taste i wąskie gardła w produktach AI