ChatGPT vs. Bard: Pojedynek gigantów!

Modele GPT testowałem praktycznie od początku 2022 r., zanim jeszcze ChatGPT ujrzał światło dzienne. Sam ChatGPT sprawił tylko tyle, że technologia stała się ogólnodostępna dla zwykłego Kowalskiego bez umiejętności programowania takich jak tworzenie zapytań API. Przez cały 2022 r. postęp widoczny był praktycznie z miesiąca na miesiąc, generatywny model językowy GPT był cały czas rozwijany i doszkalany, coraz lepiej radził sobie z językiem polskim, a nawet lepiej rozumiał kontekst zapytań czy posiadał coraz bardziej rozbudowane możliwości w zakresie „logicznego myślenia”.

Barda co prawda testowałem przez VPN już w chwili wyjścia na rynek wersji anglojęzycznej (marzec 2023 r.), jednak po pierwszej interakcji odpuściłem sobie dalsze testy. Bard jak każdy soft na początku nie działał dobrze i zdarzały się wpadki, a szkoda mojego czasu na pisanie, a Twojego na czytanie bezsensownych artykułów clickbaitowych, stworzonych dla rankingu i szeroko rozumianego fresh contentu w SEO.

Dlaczego porównanie z ChatGPT, a nie z chatem w Bing?

Porównanie Barda do chatu w Bingu nie miałoby sensu, bo Bard tak samo jak właśnie ChatGPT nie posiada stałego dostępu do Internetu, jest tylko chatbotem napędzanym modelem językowym wyuczonym na przestarzałych danych. Bardowi wydaje się, że ma dostęp do Internetu, w rzeczywistości jednak ma dostęp tylko do okrojonego zbioru danych z ekosystemu Google, a i tak nie potrafi z niego w pełni korzystać.

Test czasu:

• PK: Jaka jest pogoda w Poznaniu?
• Bard: Według prognozy pogody na dziś, 7 marca 2023 roku (sic!), w Poznaniu będzie słonecznie, z temperaturą powietrza od 10 do 15 stopni Celsjusza. Powietrze będzie wilgotne, a wiatr będzie słaby.

Test dostępu do Internetu. Celowo podaję adres URL, który nie zawiera informacji o zawartości, a tylko ciąg liczbowy.

• PK: Stwórz meta description dla tej podstrony: https://www.ceneo.pl/117365348
• Bard: Jasne, oto meta opis dla podstrony:
  Płyta główna Asus Prime Z690-A D4 DDR4 to wydajny model, który oferuje szeroki zakres funkcji i możliwości. Jest wyposażona w najnowszy procesor Intel Core i12 i obsługuje pamięć DDR4-5333MHz. Płyta główna posiada również zintegrowaną kartę graficzną Intel UHD Graphics 770 oraz złącze HDMI 2.1. Płyta główna Asus Prime Z690-A D4 DDR4 to doskonały wybór dla graczy i użytkowników, którzy potrzebują wydajnego i niezawodnego komputera.
• PK: Na tej podstronie znajduje się zupełnie inny produkt.
• Bard: Przepraszam, nie wiedziałem, że na stronie jest inny produkt. Nie mogę generować meta opisów dla produktów, które nie są dostępne w moim katalogu.
• PK: Jaki jest Twój katalog?
• Bard: Mój katalog to zbiór informacji, które nauczyłem się podczas szkolenia. Obejmuje to tekst z książek, artykułów, stron internetowych i innych źródeł. Mogę uzyskiwać dostęp do informacji z prawdziwego świata i przetwarzać je za pomocą wyszukiwarki Google, a także zachować spójność moich odpowiedzi z wynikami wyszukiwania. Nie jestem w stanie udostępnić Ci szczegółów na temat mojego katalogu, ponieważ są one poufne. Mogę jednak powiedzieć, że jest to ogromna i stale aktualizowana baza danych informacji.

Który lepszy: Google Bard czy OpenAI ChatGPT?

Wymyśliłem kilka różnych zastosowań, od głupkowatych po profesjonalne, w których postaram się porównać działanie obu modeli językowych (pamiętajmy, że Bard i ChatGPT to tylko nakładki na modele PaLM i GPT) i na tej podstawie postaram się wyłonić zwycięzcę. Od tej chwili wyniki działania obu aplikacji będą prezentowane w formie zrzutów ekranowych, aby nie tworzyć treści widmo, ale też uniknąć zarzutu manipulacji.

Podczas testu korzystam z modelu GPT-4. Uważam, że skoro Bard ma dostęp do nowszej bazy danych, to OpenAI dla wyrównania szans niech korzysta ze swojej najlepszej technologii językowej.

Test na kreatywność

W tym teście jest remis, żadna z aplikacji nie udzieliła poprawnej odpowiedzi. Ujawniliśmy, że w rzeczywistości nie istnieje jeszcze sztuczna inteligencja gotowa zastąpić człowieka. Nie musimy się też martwić o przejęcie władzy nad światem przez komputery, no chyba że AI specjalnie udaje głupszą niż jest naprawdę.

ChatGPT jest bliżej poprawnego rozwiązania figury geometrycznej. Bard był bliżej rozwiązania zagadki matematycznej polegającej na zostaniu milionerem, pomylił się tylko o 11 dni. Żaden z nich nie potrafi się bawić językiem polskim, chociaż odpowiedź Barda rozśmieszyła mnie do łez!

Z plusów… Bard zrozumiał „dżołka”.

Filmy i seriale

Mamy remis – mimo że Bard oglądał więcej głupkowatych filmów, pominął co najmniej jeden bardzo ważny w fabule odcinek „Przyjaciół”. ChatGPT musi lepiej poznać polską kinematografię, a Bard ponownie obejrzeć „Killera”.

Wiedza ogólna

W pojedynku wiedzy ogólnej wygrywa ChatGPT. Choć walka nie była łatwa i prawie mieliśmy remis, to odpowiedzi Barda były różne, np. zdarzyło mu się pomylić miejscowości np. Tokio z Turynem przy kilkukrotnym zapytaniu o ten sam temat.

Obie aplikacje czasem odmawiały odpowiedzi, obie także nie poradziły sobie z pytaniem o gęstość zaludnienia, podając poprawnie tylko dwie pierwsze odpowiedzi (analiza informacji liczbowych). Na domiar złego Bard zgubił chyba część wypowiedzi w pytaniu o Busha.

Porady praktyczne

Remis. Bard jest dobry „w asystenta”, gdy potrzebujesz szybkiej konsultacji na trasie. ChatGPT troszkę lepiej zna Gimpa, choć trochę halucynuje w kwestii skrótów klawiszowych i dostępnych w programie narzędzi. Ciekawe okazało się planowanie wakacji: tygodniowy plan Barda może nas przyprawić o zadyszkę, a ChatGPT zanudzić na śmierć. Subiektywnie jednak wybrałbym plan Barda, jest ciekawszy i mogę z niego wybrać to, co mi odpowiada. W przypadku zaniżonego kosztorysu naprawy auta Bard jest bardzo pewny siebie „Pamiętaj, że masz prawo (…) Nie zgadzaj się (…)” – podoba mi się taka komunikacja.

Pisanie maila

W mojej ocenie wygrywa Bard dla konsumenta, ChatGPT dla korporacji. Maile Barda są krótsze i bardziej konkretne, pisane prostym językiem, przez co według mnie będą łatwiejsze w odbiorze. ChatGPT jest nastawiony na „produkcję treści”, więc wiadomości są bardzo wyczerpujące, aczkolwiek zwykle napisane bardziej profesjonalnie. Chatowi zdarza się także pomylić formę, np. przywitanie w pracy napisał w trzeciej osobie zamiast w pierwszej.

Copywriting

ChatGPT zdeklasował Barda. Bard podczas generowania kilka razy tej samej treści zazwyczaj zwraca bardzo podobny wynik, a to już na starcie dyskwalifikuje go jako generator unikalnej treści. Widać też, że narzędzie jest nastawione na rozmowę z człowiekiem, a nie tworzenie contentu na strony internetowe.

W tym teście pomijam zrzuty ekranowe, ponieważ temat jest zbyt obszerny.

SEO

W tej kategorii wygrywa ChatGPT. Chociaż Bard korzysta z Google Trends, co jest bardzo przydatne w ocenie trudności wyrażeń kluczowych i trendów miesięcznych, to tylko ChatGPT daje praktyczne i działające rozwiązania.

Problemy Barda w teście SEO:

• generuje szczątkowego JSON-a, zapomniał o deklaracji typu danych strukturalnych,
• nie potrafi wykorzystać podanych fraz do fraz do utworzenia struktury,
• myli składnię pliku robots.txt, a także nie stosuje nazw znanych botów.

Programowanie

W pojedynku w kategorii programowanie wygrywa ChatGPT. Bard jest w tej konkurencji bezsilny, wszelkie próby nakierowania go na właściwy wynik kończą się fiaskiem. Tutaj widać słabości jego modelu językowego, który nie jest w stanie „myśleć” logicznie, a przez to nie może zrozumieć w pełni podanych poleceń, np. myli maskowanie z przekierowaniem. Bard nie radzi sobie z regułami .htaccess, pisaniem kodu PHP. Podane rozwiązania są szczątkowe, nie jest możliwe przeklejenie kodu, więc osoba początkująca niewiele z tego zrozumie. W pytaniach otwartych halucynuje – np. w teoretycznej bazie opon i pojazdów chciałby przechowywać numer VIN i lokalizację opony na każde koło, co uważam za grubą przesadę.

Bard radzi sobie jedynie z prostymi poleceniami, takimi jak tworzenie szczątkowego kodu PHP czy zapytań SQL, ale nawet to wykonuje nie do końca poprawnie: w moim przykładzie nie dopasował nickname = „Paweł”. ChatGPT natomiast jest zdolny do tworzenia zaawansowanych skryptów, a także udzielania sensownych podpowiedzi w zakresie tworzenia architektury aplikacji, choć też nie jest bezbłędny – ale to da się naprostować małymi uwagami.

Opinia o Google Bard

Barda określiłbym asystentem konsumenta. Nie nadaje się moim zdaniem do zastosowań profesjonalnych, jest jednak świetnym zastępstwem dla wyszukiwarki i subiektywnie czuję, że na tym polu odniesie ogromny sukces. Choć uważam, że tempo rozwoju raczej nie osiągnie takiej dynamiki jak w przypadku ChatGPT, który po zaledwie dwóch miesiącach liczył już 100 milionów użytkowników. Gamechangerem dla Barda będzie zastąpienie nim asystenta Google i pełna obsługa API Androida, dzięki której ustawi minutnik, kalendarz, ale także przedstawi skrót wydarzeń, a nawet napisze maila.

Zalety:

• Nowoczesny interfejs. Pracując 10 lat w SEO, przyzwyczaiłem się do ekosystemu Google i w tym wypadku faktycznie to interfejs przekonuje mnie do korzystania z Barda. Należy zwrócić uwagę na przejrzystość odpowiedzi i formatowanie tekstu.
• Bardziej konkretny i wyraźnie nastawiony na prowadzenie konwersacji z człowiekiem, a nie na produkcję treści. W pewnych kręgach może być to odebrane jako wada.
• Nie leje wody, nie jest nastawiony na produkowanie długich i wyczerpujących odpowiedzi, przez to ma się wrażenie, że jest bardziej „ludzki”.
• Lepiej radzi sobie z codziennymi zadaniami z pisaniem maili.
• Ma potencjał jako konsjerż. Po dodaniu dostępu do Internetu i sprzężeniu go w czasie rzeczywistym z ekosystemem Google (News, Maps, Gmail, Drive i Android API) stanie się osobistym asystentem na urządzeniach inteligentnych, który będzie po prostu przyjemny dla użytkownika. Wszakże każdy, kogo znam, pracuje na ekosystemie Google, a nie MS.
• Szybkość działania. Na odpowiedź Barda co prawda należy poczekać 2-3 sekundy, ale dla mnie to nie problem. Nie ma nic bardziej irytującego niż pisanie literka po literce, jak to widać w odpowiedziach ChatuGPT.
• Prezentuje 3 wersje odpowiedzi.

Wady:

• Niekonsekwentny. Generując 10 razy jedną odpowiedź, można otrzymać 10 różnych twierdzeń.
• Brakuje mu kreatywności. Kolejne próby generowania prostych odpowiedzi, a nawet dłuższego artykułu powstają według identycznego schematu, co może generować masę duplikatów.
• Kiepski programista. Niestety nie radzi sobie kompletnie z tworzeniem bardziej zaawansowanego kodu źródłowego aplikacji w żadnym języku, więc w IT się nie sprawdzi kompletnie.
• Zbyt uległy. Łatwo daje się zmanipulować użytkownikowi, tak jakby jego parametry były ustawione dość luźno, przez to w kolejnych wiadomościach potrafi zmieniać odpowiedzi, zaprzeczając samemu sobie.
• Ma skłonności do halucynacji, jak zresztą każdy model językowy. Niestety nie potrafi odmówić tworzenia odpowiedzi, widać, że Google poszło mocno w cenzurę, jednak gdy Bard ma braki w wiedzy, nie informuje o tym.
• Jest od Google, więc nie przejmie „profesjonalnych” użytkowników OpenAI. Ja sam nigdy nie odważyłbym się publikować nigdzie treści stworzonych przez Barda, nawet gdyby udostępnili darmowe API swojego modelu i powiedzieli mi, że lepszy z niego językoznawca niż Miodek.

Opinia o OpenAI ChatGPT

ChatGPT, a właściwie model językowy, z którego korzysta, bardzo mocno się rozwinął, od kiedy ta aplikacja ujrzała światło dzienne. Chat podkreśla na każdym kroku informację o wykorzystaniu bazy do 2021 r. W przeciwieństwie do Barda, który halucynuje na potęgę – ale dokładnie to samo robił GPT jeszcze 4-5 miesięcy temu.

Rozwiązanie od OpenAI lepiej odpowiada potrzebom specjalistów contentu, a także pracownikom IT, znacznie lepiej radzi sobie z tworzeniem działającego kodu, a nawet wytworzeniem sensownie brzmiących artykułów na dowolny temat. Znajdzie też swoje miejsce w korporacjach. To narzędzie bardziej profesjonalne od Barda, który został stworzony dla mas.

Zalety:

• Dobry w długie konwersacje, szczególnie w przypadku programowania. ChatGPT potrafi podczas odpowiedzi nawiązywać do wiadomości przesyłanych wcześniej. Dzięki temu można wykonać krótki trening, np. przedstawiając mu krokowo zarys aplikacji, aby otrzymywać trafniejsze odpowiedzi w późniejszych zapytaniach.
• Lepiej rozumie intencję człowieka i nawet jeśli nie doprecyzowano czegoś w prompcie, to odpowiedź jest często zadowalająca.
• Ma API, dzięki czemu można wykorzystać go w swoich projektach.
• Naprawdę dobrze programuje. Można spokojnie wykorzystać go do stworzenia zarysu kodu źródłowego aplikacji, który następnie programista wymodeluje pod swoje potrzeby.
• Stabilne wypowiedzi. Niezależnie od liczby generowanych odpowiedzi raczej zmienia się sposób konstrukcji wypowiedzi, a nie sam wsad merytoryczny. Co pokazuje, że lepiej wykorzystuje swoją bazę danych od Barda.

Wady:

• Przestarzały interfejs. Mnie jako estetę to właśnie zawsze odrzucało, przywykłem jednak, bo rozwiązanie od OpenAI przez długi czas było jedynym dostępnym na rynku.
• Mało precyzyjny w zapytaniach konsumenckich. Ma tendencję do pisania długich artykułów, zamiast udzielić krótkiej odpowiedzi w formie wyjaśnienia uzupełnionego listą punktowaną.
• Powolny. Sposób generowania tekstu literka po literce jest niesamowicie irytujący, chociaż wiem, że jest to bezpośrednio związane z bieżącym wykorzystaniem narzędzia przez społeczność.
• Sam w sobie ma przestarzałą bazę danych. Wrzuciłem do wad, ale można to rozpatrywać jako zaletę. Model charakteryzuje się stabilnością wypowiedzi, dzięki temu, doszkalając go w swoich projektach, uzyskamy lepsze wyniki.

Wnioski końcowe – mój subiektywny punkt widzenia

Pojedynek wygrywa ChatGPT, ale z małą gwiazdką, ponieważ oba narzędzia mają duże braki w zbiorach danych.

Rozwiązanie OpenAI jest na rynku dłużej i posiada bardziej rozwinięty model językowy, dzięki czemu jest w stanie pracować w roli copywritera, a także lepiej radzi sobie jako szeroko pojęta sztuczna inteligencja w trudniejszych zadaniach wymagających analizy logicznej. Niemniej jednak uważam, że Google odniesie ogromny sukces rynkowy za sprawą funkcjonalności dopasowanej do innej grupy docelowej (zwykłego konsumenta, a nie profesjonalisty).

Bard przede wszystkim sprawdzi się dla zwykłego konsumenta jako aplikacja natywnie obsługująca urządzenia z androidem czy inteligentne głośniki. Jeśli postęp będzie tak dynamiczny jak obecnie, to myślę, że Siri od Apple i Alexa od Amazona mogą czuć się zagrożone. Myślę, że to część biznesplanu ratunkowego po wdrożeniu AI w Bingu, aby zatrzymać odpływ użytkowników, i uważam, że idzie to w dobrym kierunku.

Wyobraź sobie, że w końcu porozmawiasz po polsku z prawdziwym wirtualnym asystentem, który wyśle za Ciebie maila, zaproponuje smaczny obiad na trasie, a gdy wrócisz z partnerem/partnerką po miejskich wojażach, stworzy romantyczną atmosferę w sypialni, uruchamiając w głośnikach Marvina Gaye i ściemniając światło… TAK, WIEM! To Blog o SEO… zapędziłem się 😊

Z drugiej strony, gdyby to Google finansowało OpenAI, w branży sztucznej inteligencji byłby to gracz absolutnie nie do pokonania.