Jak stworzyliśmy Hyve, chatbota AI dla WordPressa – pierwsza wersja jest teraz bezpłatna

Przez ostatnie kilka miesięcy eksperymentowaliśmy ze sztuczną inteligencją, aby stworzyć innowacyjne narzędzia dla WordPressa. Jeden z naszych ostatnich projektów, QuickWP, narzędzie do tworzenia witryn WordPress oparte na sztucznej inteligencji, był jednym z takich projektów. Bazując na tym, czego nauczyliśmy się podczas tworzenia QuickWP, z radością przedstawiamy coś zupełnie nowego, ale powiązanego!

W tym poście chcę opowiedzieć Ci wszystko o Hyve, chatbocie AI dla WordPressa. Hyve wykorzystuje treść WordPressa, aby inteligentnie odpowiadać na zapytania użytkowników, zapewniając dokładne i kontekstowe odpowiedzi bezpośrednio z istniejących materiałów w Twojej witrynie. OK, to sporo, więc podzielmy to na części:

Krótko mówiąc, Hyve współpracuje z Twoją istniejącą treścią, wykorzystuje ją jako bazę wiedzy i odpowiada na pytania użytkowników w oparciu o dostarczone dane.

Pierwszą wersję Hyve uruchomiliśmy pod koniec kwietnia i od tego czasu wysłuchaliśmy wielu opinii naszych użytkowników, aby ulepszyć wtyczkę, aby rozwiązać wszelkie możliwe problemy i uczynić ją bardziej użyteczną dla naszych użytkowników w wersji 1.1. Dzisiaj z przyjemnością ogłaszamy, że udostępniamy Hyve 1.0.3 za darmo dla wszystkich naszych użytkowników. Hyve jest oprogramowaniem typu open source i objętym licencją GPLv3.

Ale najpierw zacznijmy od początku:

Co to jest Hyve?

Ponownie, w prostych słowach, Hyve to chatbot AI dla WordPressa, który wykorzystuje interfejsy API OpenAI w połączeniu z danymi Twojej witryny, aby odpowiadać na pytania użytkowników. Możesz przeszkolić firmę Hyve w zakresie treści swojej witryny, a firma wykorzysta te informacje do zapewnienia dokładnych i trafnych odpowiedzi. Dzięki Hyve możesz wykorzystać swoje posty, strony, a nawet niestandardowe dane jako źródło wiedzy, które nazywamy bazą wiedzy.

Wszystkie dane pozostają na Twoim koncie WordPress i OpenAI. Aby korzystać z Hyve, nie musisz łączyć się z żadnymi dodatkowymi usługami. Na potrzeby aktualizacji do wersji 1.1 stworzyliśmy ten film, aby dać naszym użytkownikom możliwość zapoznania się z Hyve:

Oprócz Bazy wiedzy masz także więcej opcji dostosowania chatbota i dowiedzenia się, jakie pytania zadają użytkownicy, a które pozostają bez odpowiedzi. Dzięki tej funkcji możesz mieć pewność, że dodajesz właściwe pytania do swojej bazy wiedzy.

Nieudany projekt hackatonu

Pozwólcie, że opowiem wam historię narodzin Hyve.

Nie jest to historia, o którą prosiłeś, ale mimo wszystko historia, której potrzebowałeś.

W marcu 2023 r., zaledwie kilka miesięcy po wydaniu ChatGPT i przejęciu Twittera przez projekty AI (tak, w marcu 2023 r. nadal nazywał się Twitter); zdecydowaliśmy się na dwudniowy zdalny hackaton w firmie poświęcony sztucznej inteligencji.

Jeden z programistów wybrał projekt polegający na stworzeniu chatbota AI dla WordPressa przy użyciu interfejsów API OpenAI i danych pobranych z dokumentów firmowych. Ku swojej frustracji zmagał się z zadaniem i ostatecznie projekt się nie powiódł.

W tym miejscu zaznaczę, że byłem deweloperem.

Jeśli jesteś zainteresowany, w ostatniej chwili przesłałem automatyczny kreator komentarzy spamowych przy użyciu OpenAI, który zawierał zaledwie 50 linii kodu.

Chociaż pomysł ucichł po hackatonie, zespół omawiał go na początku tego roku i tym razem przeprowadziliśmy więcej badań i przygotowań przed napisaniem pierwszej linijki kodu. I tak narodził się Hyve.

Dlaczego więc nie udało się za pierwszym razem, a nie za drugim?

Szybka inżynieria, RAG i dostrajanie

Szybka inżynieria, generowanie wspomagane wyszukiwaniem (RAG) i dostrajanie to techniki stosowane przy opracowywaniu narzędzi sztucznej inteligencji. Każda z tych metod, jeśli jest właściwie stosowana, znacznie zwiększa dokładność, trafność i ogólną wydajność.

Ale ważne jest również, aby wiedzieć dokładnie, kiedy ich nie używać. Za pierwszym razem, gdy uczestniczyliśmy w projekcie hackathonowym, popełniliśmy (a dokładniej ja) błąd, sądząc, że rozwiązaniem będzie dostrojenie.

Jako nowicjusz zrozumiałem, że dostrajanie to sposób na „wyszkolenie” modelu sztucznej inteligencji do wykonania zadania poprzez pokazanie mu setek przykładów, jak odpowiedzieć na każde pytanie. Ale bardzo się myliłem.

Teoretycznie chatbot robił dokładnie to, do czego został przeszkolony. Pobierał pytanie od użytkownika i udzielał odpowiedzi, podając w większości nieprawidłowe informacje, styl pisania i ton dokumentów naszej firmy. Aby wyjaśnić dlaczego, przyjrzyjmy się szybko znaczeniu wszystkich tych technik:

Szybka inżynieria

Być może najsłynniejsza technika, o której wiedzą wszyscy pracujący z ChatGPT i innymi narzędziami AI. Dajemy naszemu modelowi AI instrukcje, co robić i określamy, jak powinien zareagować. Możemy na przykład dać mu listę danych z 20 e-maili i poprosić o podsumowanie ich w jednym wierszu każdy. Pobierze dane i odpowie coś brzmiącego tak:

• We wtorek Jeff wysłał Ci e-mail w sprawie wysyłki druku.
• W piątek otrzymałeś życzenia urodzinowe od Jeffa i Matta.
• …i tak dalej

Takie podejście świetnie sprawdza się w przypadku prostych zadań, gdy dokładnie wiemy, jakie informacje przekazać naszej sztucznej inteligencji podczas zadawania pytań, ale zawodzi, gdy zadania są znacznie bardziej złożone.

Generacja wzmocniona odzyskiwaniem (RAG)

Jak wspomniano, szybka inżynieria jest skuteczna w przypadku prostych zadań, ale może sprawiać problemy w przypadku bardziej złożonych zapytań. Tutaj w grę wchodzi pokolenie wspomagane odzyskiwaniem (RAG). RAG zwiększa możliwości sztucznej inteligencji, łącząc metody oparte na wyszukiwaniu z modelami generatywnymi. Zamiast polegać wyłącznie na danym podpowiedzi, RAG przeszukuje dużą bazę danych dokumentów w celu znalezienia odpowiednich informacji, które następnie wykorzystuje do wygenerowania dokładniejszej i bogatszej kontekstowo odpowiedzi.

Na przykład użytkownik może zapytać: „Czy oferujecie wycieczki rowerowe po Nicei?” Dzięki RAG sztuczna inteligencja najpierw wyszuka artykuły dotyczące tej kwestii, a następnie oprze swoją odpowiedź na informacjach zawartych w tych artykułach.

Albo wyobraź sobie, że pytasz sztuczną inteligencję o aktualizacje pogody lub ceny akcji. Wszystko to wymaga pobrania informacji dostępowych z innego źródła.

Takie podejście jest szczególnie przydatne w przypadku dużych ilości danych lub gdy wymagane informacje nie są podawane bezpośrednio w początkowym wierszu zachęty.

W Hyve nie jesteśmy w stanie przy każdym zapytaniu podać wszystkich danych z Bazy Wiedzy. Byłoby to zbyt niepraktyczne, dlatego musimy zastosować technikę RAG, aby najpierw zebrać informacje istotne dla zapytania użytkownika, a następnie przekazać je sztucznej inteligencji wraz z pytaniem użytkownika.

Strojenie

Dostrajanie polega na wykorzystaniu wstępnie wytrenowanego modelu sztucznej inteligencji i dalszym szkoleniu go na konkretnym zestawie danych, aby uczynić go bardziej skutecznym w określonych zadaniach lub domenach. Dostrajanie nie polega na mówieniu sztucznej inteligencji dokładnie, co ma powiedzieć, a raczej na pomaganiu jej w zrozumieniu, jak odpowiedzieć.

Rozważmy na przykład wcześniejszy przypadek z sekcji szybkiej inżynierii, w której sztuczna inteligencja podsumowuje e-maile:

• We wtorek Jeff wysłał Ci e-mail w sprawie wysyłki druku.
• W piątek otrzymałeś życzenia urodzinowe od Jeffa i Matta.

W tym scenariuszu, jeśli sztuczna inteligencja nie została dostrojona, może generować odpowiedzi różniące się tonem lub formatem, przez co podsumowania będą niespójne lub mniej przydatne w określonych przypadkach użycia. Dopracowanie może ujednolicić reakcje sztucznej inteligencji, zapewniając ich spójny styl i ton. Po dostrojeniu sztuczna inteligencja może zapewnić bardziej jednolite podsumowania, takie jak to:

• We wtorek Jeff poinformował Cię o statusie wysyłki druku.
• W piątek zarówno Jeff, jak i Matt przesłali ci życzenia urodzinowe.

Podobnie w projekcie hackathonowym dostrajanie osiągnęło to, co było zamierzone. Chociaż zawsze odpowiadał błędną odpowiedzią, zawsze odpowiadał w tym samym formacie i tonie, jakich używamy w dokumentach naszej firmy. Dostrajanie zadziałało dobrze; wina leżała raczej w technice, którą wybraliśmy do wykonania zadania.

Dostrajanie, jeśli jest właściwie stosowane, może być bardzo potężnym narzędziem do budowania modeli sztucznej inteligencji do bardzo konkretnych zadań. W rzeczywistości można go trenować na modelach o niższej randze, a mimo to dawać znacznie lepsze wyniki niż model o wyższej randze.

Wybór właściwej techniki

Wszystkie wymienione techniki są bardzo przydatne, jeśli są prawidłowo stosowane. Jednak źle użyte mogą sprawić, że Twoje narzędzia AI będą gorzej osiągać zamierzone cele.

Dostrajanie nie było właściwym podejściem w przypadku naszego projektu hackatonu. Gdybyśmy ograniczyli się do szybkiej inżynierii z RAG, wyniki byłyby znacznie lepsze.

Ogólna zasada: zawsze zaczynaj od szybkiej inżynierii. Jeśli robi dokładnie to, czego oczekujesz, nie musisz używać RAG ani dostrajać.

Jeśli nie daje oczekiwanego rezultatu, sprawdź, czy potrzebuje więcej informacji kontekstowych lub czy format/ton jest spójny. Na tej podstawie można zdecydować, czy wymaga to RAG, dostrojenia, czy obu.

Naprawdę polecam obejrzenie tej rozmowy na koncie OpenAI na YouTube, jeśli chcesz dowiedzieć się więcej na temat wyboru właściwej techniki.

Jak działa Hyve

Teraz, gdy omówiliśmy pewne techniki tworzenia narzędzi AI, przyjrzyjmy się, jak wykorzystaliśmy je przy opracowywaniu chatbota AI dla WordPress.

OpenAI oferuje wiele sposobów tworzenia konwersacyjnych AI. W tym projekcie wybraliśmy interfejs API Asystenta zamiast interfejsu API Chat Completions. Obydwa interfejsy API mają swoje zalety i wady, ale my woleliśmy API Asystenta, ponieważ umożliwia użytkownikom łatwe przeglądanie historii czatów i utrzymywanie kontekstu, traktując każdą rozmowę jako wątek. Było to szczególnie przydatne podczas tworzenia QuickWP, więc postanowiliśmy się tego trzymać. Inni mogą preferować interfejs API uzupełniania rozmów i to też jest w porządku.

Dzięki API Assistant tworzymy Asystenta, gdy użytkownik połączy się ze swoim kontem OpenAI i skonfiguruje tam monit. W ten sposób nie musimy wysyłać monitu przy każdym żądaniu, ponieważ zarządza nim OpenAI.

Kiedy użytkownicy wysyłają zapytanie do chatbota, przekształcamy je w osadzanie za pomocą interfejsu API OpenAI Embeddings i uruchamiamy algorytm w celu porównania ich z bazą wiedzy witryny pod kątem najbliższych dopasowań. Następnie wysyłamy najlepsze dopasowanie wraz z pytaniem użytkownika do Asystenta, upewniając się, że sztuczna inteligencja bierze pod uwagę tylko podany kontekst podczas odpowiadania na zapytanie.

Rozważaliśmy zastosowanie dostrajania w celu poprawy jakości odpowiedzi, ale na razie zdecydowaliśmy się tego nie robić, aby ułatwić użytkownikowi pracę. Możemy jednak w przyszłości udoskonalić model, aby mieć pewność, że będzie ściśle zgodny z podpowiedziami, zgodnie z zamierzeniami. Na razie szybka inżynieria działa wystarczająco dobrze, bez zwiększania złożoności.

A teraz Hyve v1.0 jest darmowy

Wydaliśmy Hyve w kwietniu i od tego czasu wielu klientów przekazało nam cenne uwagi na temat sposobów ulepszenia jego funkcjonalności. Na tej podstawie w zeszłym miesiącu uruchomiliśmy Hyve v1.1, który zawiera zaawansowane funkcje, takie jak szczegółowe informacje dla administratorów witryny na temat pytań bez odpowiedzi, większe opcje dostosowywania Asystenta i wiele innych ulepszeń.

Z radością ogłaszamy, że wersja 1.0.3 Hyve jest bezpłatna dla wszystkich użytkowników, którzy chcą ją wypróbować. Ta wersja jest wydaniem jednorazowym, co oznacza, że ​​nie będzie otrzymywać aktualizacji ani pomocy technicznej. Hyve v1.0.3 zawiera wszystkie funkcje wersji oryginalnej wraz z poprawkami wszystkich znanych błędów.

Mamy nadzieję, że oferując tę ​​darmową wersję, więcej osób wypróbuje Hyve, zapewniając nam dodatkowe opinie i wgląd w różne przypadki użycia. Pomoże nam to w dalszym doskonaleniu i dawaniu korzyści społeczności.

Kto wie, może Ty też pokochasz Hyve i zdecydujesz się subskrybować aktualizacje. Jeśli tak, po prostu wprowadź klucz licencyjny, a zaczniesz otrzymywać aktualizacje.

Wykorzystaliśmy również tę okazję, aby podzielić się ze społecznością naszą podróżą związaną z budowaniem chatbota AI dla WordPress. Twórcy wśród Was mogą znaleźć coś przydatnego lub pomóc w wyjaśnieniu, jak chatboty AI działają pod maską.

Mamy nadzieję, że wypróbujesz Hyve i będziesz czerpał z niego tyle samo przyjemności, co my z jego tworzenia. Jeśli napotkasz jakiekolwiek problemy z pobraniem/instalacją Hyve lub masz do nas jakieś pytania, zostaw komentarz poniżej. Ponownie możesz pobrać Hyve v1.0.3, klikając link tutaj. A jeśli chcesz sprawdzić najnowszą wersję, znajdziesz ją na stronie produktu Hyve.