Żyjemy w czasach, w których samo przewijanie kanału w mediach społecznościowych może wywołać paranoję. Kto to napisał: osoba czy sztuczna inteligencja?
Od tej odpowiedzi wiele zależy. Niezależnie od tego, czy sprawdzasz eseje, zatrudniasz pisarzy, czy po prostu masz dość anonimowych treści w Internecie, potrzebujesz prawdy. Mówią, że sztuczna inteligencja pozostawia swoje odciski palców. Zwykle podejrzewa się myślnik, monotonię lub inne znaczniki.
Ale czy narzędzia mogą wiarygodnie wykryć te znaki?
Przetestowałem pięć popularnych detektorów AI w kontrolowanych warunkach. Z jednej strony cztery artykuły napisane przeze mnie ręcznie (bez udziału robotów). Z drugiej strony: 150-wyrazowe części wprowadzające wygenerowane przez ChatGPT, Gemini i Claude na podstawie tytułów moich artykułów.
Wyniki? Niektóre narzędzia działały świetnie. Inni tęsknili.
Pangram: Pewny siebie sprawdzający
Pangram twierdzi, że jest to detektor, który „naprawdę działa”. Nie jest to bezpłatne na zawsze, ale bezpłatny plan pozwala na wykonanie czterech kontroli dziennie. Płatne plany zaczynają się od 20 USD.
Oto co się stało:
* Mój tekst: 100% ludzki. Wysoka pewność.
*Tekst napisany przez ChatGPT/Claude: 100% AI.
Pangram poprawnie zidentyfikował każdą próbkę. Podkreślił nawet konkretne wskazówki, takie jak powtarzająca się struktura „od chwili…” w tekstach AI.
Werdykt: 4 z 4 poprawne.
Gramatyka: gigant gramatyczny wkracza na arenę
Prawdopodobnie używasz Gramatyki do sprawdzania literówek. Teraz oznacza także teksty AI. Konta bezpłatne otrzymują trzy czeki dziennie. Płatne plany zaczynają się od 12 USD.
Moje próbki? 0% sztucznej inteligencji. Brak szablonów. Czysty wynik.
Próbki AI? Nie tak jasno.
* Claude: 68% AI.
* Bliźnięta: 66% AI.
Gramatycznie zauważyłem ślady AI. Ale nie był tego na 100% pewien. Narzędzie dostrzegło wzorce, ale wahało się z oceną. Jednak udzielił prawidłowej odpowiedzi.
Werdykt: 4 z 4 poprawne.
GPTZero: Ochrona ludzkości
Misją GPTZero jest „ochrona ludzkości”. Bezpłatni użytkownicy mogą sprawdzić 10 000 słów miesięcznie. Płatne plany zaczynają się od około 24 USD.
Przy trzecim instrumencie zacząłem być zbyt pewny siebie. Mój styl pisania musi wyraźnie nie opierać się na sztucznej inteligencji. GPTZero zgodził się. „Wysoka pewność, że ten tekst został w całości napisany przez człowieka”.
Kiedy podałem próbki AI, ona też je rozpoznała. Wskazał nawet, które zdania wyglądały najbardziej automatycznie. Trudno było mi dostrzec te wzory. Być może oni tam są. A może nie. Ale instrument ich nie ominął.
Werdykt: 4 z 4 poprawne.
Scribbr: Wolny outsider
Scribbr oferuje usługi edycji i bezpłatny detektor. Nie wymaga rejestracji. Po prostu wklej tekst i sprawdź.
Mój tekst? Usprawiedliwiony w 100% jako człowiek. Cienki.
Próbki AI? Oznaczone również jako napisane w 100% przez człowieka.
Tutaj poniósł porażkę. Scribbr twierdził, że SMS-y z ChatGPT i Claude zostały w całości napisane przez ludzi. Narzędzie było bardzo pewne swojej błędnej odpowiedzi. Jakikolwiek jest jego algorytm, wymaga aktualizacji.
Werdykt: 2 z 4 są prawidłowe.
Copyleaks: pretendenci, którzy mają tylko częściowo rację
Copyleaks sprawdza tekst, obrazy i filmy. Cztery bezpłatne skany. Płatne plany zaczynają się od 17 USD.
Mój tekst? 100% wolne od sztucznej inteligencji.
Test sztucznej inteligencji? Wynik jest mieszany.
* Bliźnięta: 100% AI (poprawnie).
* Claude: 0% AI (błędnie).
Copyleaks zauważył jednego bota, ale przeoczył drugiego. Wydaje się, że kalibracja jest trudna, w zależności od testowanego modelu.
Werdykt: 3 z 4 poprawne.
Główny wniosek
Nie byłem pewien, czego się spodziewać. Dlatego zrobiłem test. Ale teraz? Sytuacja stała się jaśniejsza.
Wykrywacze AI nie są doskonałe.
Konsekwentnie identyfikowali mój ludzki tekst. Każde narzędzie oznaczało mój tekst jako napisany przez człowieka. Wydaje się, że łatwiej jest potwierdzić, co nie jest sztuczną inteligencją, niż to, co nią jest.
Stwierdzenie przeciwne nie jest prawdziwe. Scribbr całkowicie zawiódł. Copyleaks przegapił połowę botów. Pozostałe instrumenty w tej małej próbce sprawdziły się doskonale.
Jeśli poważnie myślisz o identyfikacji tekstów AI, nie ufaj tylko jednemu narzędziu. Używaj dwóch lub trzech na raz. Poszukaj wzorów. A może uaktualnij do wersji płatnej w celu szczegółowego uzasadnienia, jeśli stawka jest wysoka.
Czy jest wyraźny znak? Może. A może to tylko zabawa w kotka i myszkę, która zmienia się wraz z każdą aktualizacją modelu.
Zastrzeżenie: spółka-matka Popular Science pozwała OpenAI w kwietniu 2024 r. za naruszenie praw autorskich. Kontekst ten może mieć wpływ na ogólną sytuację, chociaż powyższe wyniki testów odzwierciedlają skuteczność poszczególnych narzędzi.
