Google właśnie dziś zmieniło w mapach lektora na AI. Ludzie narzekają. Rzeczywiście brzmi to "po taniości", czyli bez płynności, emocji. Taki chamski TTS.
Twtter is a day by day war
Badania przeprowadzone przez naukowców z Uniwersytetu w Pittsburghu pokazały, że poezja tworzona przez sztuczną inteligencję jest lepiej oceniana niż wiersze pisane przez poetów. Czytelnicy niebędący ekspertami z dziedziny literatury stwierdzili, że tak wygenerowana poezja jest dla nich bardziej zrozumiała.
Wyniki badań zostały opublikowane w "Scientific Reports" ( https://doi.org/10.1038/s41598-024-76900-1).
Uczestnikom badania naukowcy zaprezentowali wiersze napisane przez dziesięć poetek i poetów anglojęzycznych, w tym m.in. Williama Szekspira, Walta Whitmana, Emily Dickinson, T.S. Eliota, Allena Ginsberga i Sylvię Plath, a także utwory wygenerowane w ich stylu przez ChatGPT.
Czytelnicy wyżej ocenili wiersze wygenerowane przez AI twierdząc, że "nie są one aż tak bardzo złożone, lepiej przekazują jednoznaczny obraz, nastrój, emocje lub temat" – poinformowali badacze. W ich opinii może to oznaczać, że osoby, które nie są ekspertami w dziedzinie liryki mogą nie mieć ani czasu, ani ochoty na dogłębną analizę twórczości poetów i poetek.
Na szczęście z językiem polskim AI jeszcze sobie tak dobrze nie radzi, zwłaszcza z poezją rymowaną.
Trudno powiedzieć, czy to badanie z zakresu AI... W końcu nie od dziś wiadomo, że nie każda poezja jest łatwo przyswajalna dla każdego odbiorcy, zwłaszcza że wybrano twórców o specyficznym stylu. Żeby takie badanie było bardziej miarodajne przydałoby się dodanie jeszcze dwóch części:
1. porównanie odbioru utworów znanych poetów z utworami napisanymi w ich stylu przez innych (współczesnych) ludzi
2. porównanie odbioru utworów popularnych twórców (typu jacyś znani piosenkarze z dobrymi tekstami) z utworami stworzonymi przez AI
Dopiero wtedy można by stwierdzić, czy rezultaty badań nie wynikają po prostu z tego, że ludzie lubią prostsze i łatwiej przyswajalne teksty, nieważne, czy autor jest człowiekiem, czy sztuczną inteligencją.
Dopiero wtedy można by stwierdzić, czy rezultaty badań nie wynikają po prostu z tego, że ludzie lubią prostsze i łatwiej przyswajalne teksty, nieważne, czy autor jest człowiekiem, czy sztuczną inteligencją.
Ja bym postawił odważną tezę, że właśnie tak jest. Większość ludzi nie rozumie poezji. Przy takich testach powinni na początku spytać testowanych:
1. kiedy ostatni raz czytał poezję?
2. ile tomików wierszy ma na półce z książkami?
3. jakich poetów z czasów dawnych zna?
4. jakich poetów współczesnych zna?
Przez zna, należy rozumieć, nie "słyszałem/czytałem w necie, że otrzymał/a nagrodę Nobla", tylko cokolwiek czytał.
Poza tym "lepiej przekazują jednoznaczny obraz, nastrój, emocje lub temat" nie wiemy co oznacza w tym kontekście lepiej.
No i na sam koniec, dyskutowaliśmy już tutaj o pisaniu książek "na nowo" bo te pisane np. przez Sienkiewicza podobno są pisane niezrozumiałym, dla współczesnych, językiem. To wiele wyjaśnia a w kwestii poezji powinno się mnożyć przez trzy lub pięć 🙂
Twtter is a day by day war
Założenia tego badania niejako z automatu wykluczały znawców literatury, jako że ci by się zorientowali, że nie czytają np. Szekspira dzięki swojej znajomości Szekspira 😉 Można założyć, że wybrano osoby, które z poezją mają doświadczenia ograniczone do tego, co czytali w szkole plus tekstów piosenek, których być może nawet nie rejestrują. I tak koło się zamyka, bo skoro wybrano osoby, których ogólnie nie interesuje poezja jako środek przekazu, to nic dziwnego, że osoby te, zmuszone do czytania czegoś, czego nie znają, nie rozumieją i nie lubią, wybiorą utwory prostsze i łatwiejsze w odbiorze...
Czyli badanie z tezą.
BTW pytanie dodatkowe: jakie było polecenie wwydane AI?
Twtter is a day by day war
Jak ktoś zna dobrze angielski może więcej wyczytać tutaj:
Jak ktoś zna dobrze angielski może więcej wyczytać tutaj:
not found
Twtter is a day by day war
Nie wiem dlaczego - w odsyłaczu wyżej - dodaje do adresu kropkę i nawias.
Ciekawe. Oczywiście wrażenie dużo lepsze niż po skrótowych doniesieniach, ale to normalne. Nie rozumiem wszystkich wyników, zwłaszcza tych liczbowych i odwołujących się do modeli badawczych, ale mamy odpowiedzi na kilka pytań.
Polecenie wydane AI było bardzo proste.
Szczególny dobór "ludzkich" poetów - wybrano autorów albo dawnych, albo "ciężkich" i specyficznych: Geoffrey Chaucer (1340s-1400), William Shakespeare (1564-1616), Samuel Butler (1613-1680), Lord Byron (1788-1824), Walt Whitman (1819-1892), Emily Dickinson (1830-1886), T.S. Eliot (1888-1965), Allen Ginsberg (1926-1997), Sylvia Plath (1932-1963), and Dorothea Lasky (1978- ). To mi się nie podoba, bo z miejsca ustawia prawdziwych poetów na gorszej pozycji. Ich utwory są trudne w odbiorze, więc wystarczy, że AI stworzy coś przystępniejszego. Brakuje mi poetów "popularnych", przyjaznych odbiorcom. Tak jak wspomniani wcześniej twórcy piosenek. Bo jeśli jednym z kryteriów oceny była umiejętność rymowania, to należało dać autorów, którzy dobrze rymowali 😉
Duża, podzielona grupa testowa, złożona z osób, które nie mają do czynienia z poezją
our participants reported a low level of experience with poetry: 90.4% of participants reported that they read poetry a few times per year or less, 55.8% described themselves as “not very familiar with poetry”, and 66.8% describe themselves as “not familiar at all” with their assigned poet.
Za to konkluzje są właściwie zgodne, z tym, co pisaliśmy powyżej:
We propose that people rate AI poems more highly across all metrics in part because they find AI poems more straightforward. AI-generated poems in our study are generally more accessible than the human-authored poems in our study. (...) because AI-generated poems do not have such complexity, they are better at unambiguously communicating an image, a mood, an emotion, or a theme to non-expert readers of poetry, who may not have the time or interest for the in-depth analysis demanded by the poetry of human poets. As a result, the more easily-understood AI-generated poems are on average preferred by these readers, when in fact it is one of the hallmarks of human poetry that it does not lend itself to such easy and unambiguous interpretation
In short, it appears that the “more human than human” phenomenon in poetry is caused by a misinterpretation of readers’ own preferences. Non-expert poetry readers expect to like human-authored poems more than they like AI-generated poems. But in fact, they find the AI-generated poems easier to interpret; they can more easily understand images, themes, and emotions in the AI-generated poetry than they can in the more complex poetry of human poets. They therefore prefer these poems, and misinterpret their own preference as evidence of human authorship.
Interesującym - choć w sumie dość oczywistym - wątkiem są uprzedzenia ludzi wobec możliwości AI, które wpływają na wyniki badań i prowadzą do fałszywych ocen. Warto zauważyć, że tej kwestii poświęcono naprawdę dużo miejsca.
non-expert poetry readers prefer the more accessible AI-generated poetry, which communicate emotions, ideas, and themes in more direct and easy-to-understand language, but expect AI-generated poetry to be worse; they therefore mistakenly interpret their own preference for a poem as evidence that it is human-written.
This suggests that participants are using some shared heuristics to discriminate AI-generated poems from human-written poems; they may take AI to be less able to form rhymes, and less able to produce longer poems. If so, these heuristics are flawed; in our dataset, AI-generated poems are in fact more likely to rhyme at all lines: 89% of our AI-generated poems rhyme, while only 40% of our human-written poems rhyme. There is also no significant difference in average number of lines between AI-generated poems and human-written poems in our dataset.
Zaraz, czy dobrze zrozumiałem, że AI miała napisać utwory 'w stylu' ale napisała inaczej? Bo skoro twórcy tworzyli z pełną premedytacją bez rymów (40% z rymami) a AI z rymami (89%) to oznacza, że nie stworzyła w stylu, tylko po swojemu.
To trochę jak byśmy chcieli porównać np. Piosenkę o końcu świata z Koziołkiem Matołkiem i stwierdzili, że Makuszyński jest lepiej zrozumiały i dostępny dla ludzi.
Tak jest, nad Koziołkiem nie trzeba się skupiać żeby zrozumieć, że w Pacanowie Kozy kują, a nad Miłoszem trzeba się pochylić.
I to w żadnym wypadku nie jest proba dyskredytowania Makuszyńskiego, to tylko o tym, że w badaniach należy porównywać jabłka z jabłkami.
Twtter is a day by day war
Właśnie dlatego napisałam, że powinni dać poetów, których utwory są dla ludzi "przyjemne", a nie Chaucera, do którego trzeba mieć wiedzę historyczno-kontekstową i Sylvię Plath, która... cóż, "przyjemna" na pewno nie jest. Zresztą w artykule jest to wprost napisane:
In each of the 5 AI-generated poems used in the assessment study (Study 2), the subject of the poem is fairly obvious: the Plath-style poem is about sadness; the Whitman-style poem is about the beauty of nature; the Lord Byron-style poem is about a woman who is beautiful and sad; etc. These poems rarely use complex metaphors. By contrast, the human-authored poems are less obvious; T.S. Eliot’s “The Boston Evening Transcript” is a 1915 satire of a now-defunct newspaper that compares the paper’s readers to fields of corn and references the 17th-century French moralist La Rochefoucauld.
To trochę jakby zrobić badania o bardzo egzotycznej kuchni na grupie osób nie lubiących egzotycznych potraw. Mają ocenić potrawy przygotowane według tradycyjnych przepisów i teoretycznie takie same potrawy, ale przygotowane z użyciem znanych im zamienników, np. skrzydełka z kurczaka zamiast kurzych łapek.
Naprawdę chciałabym zobaczyć takie badania z Osiecką, Leonardem Cohenem i Taylor Swift, a nie Emily Dickinson, której twórczość nadal potrafi wprawić czytelników (i nie tylko non-experts) w konsternację...
Czyli w sumie zgadzamy się z tym, że badanie jest nie tylko do dupy, ale że nie ma nic wspólnego z AI oraz, że pokazuje, że w masie ludzie są prości i potrzebują prostych przekazów. Czyli nic nowego pod słońcem.
Ciekawe kogo naciągnęli na finansowanie tej szopki
Twtter is a day by day war
A z innej beczki, pracuję teraz trochę z komercyjnym AI i nie ma efektu wow. Z mojego punktu widzenia jest na poziomie 28latka, niby kreatywnie ale niezbyt dokładnie. I gdy rozmawiałem o tym z fachowcem, usłyszałem 'it's not a bug it's a feature'.
Czyli w chwili obecnej takie niewyspecjalizowane narzędzie może zastąpić przeciętnego dzirnnikarza, który przewala depesze PAPu na swój portal ale samo nie napisze nic lepszego.
Twtter is a day by day war
Czyli w sumie zgadzamy się z tym, że badanie jest nie tylko do dupy, ale że nie ma nic wspólnego z AI oraz, że pokazuje, że w masie ludzie są prości i potrzebują prostych przekazów. Czyli nic nowego pod słońcem.
Ciekawe kogo naciągnęli na finansowanie tej szopki
No niestety badanie ma błędy w konstrukcji i założeniach. A najciekawsza moim zdaniem część, dotycząca "uprzedzeń" wobec tworów AI, tak naprawdę nie jest czymś nowym i ograniczonym do sztucznej inteligencji, bo dokładnie takie same wyniki otrzymano by każąc ludziom oceniać np. 6 wierszy Miłosza, z których trzy byłyby podpisane "Adrian Ziółko, II LO w Zgierzu". Czyli psychologia społeczna, a nie AI.
A z innej beczki, pracuję teraz trochę z komercyjnym AI i nie ma efektu wow. Z mojego punktu widzenia jest na poziomie 28latka, niby kreatywnie ale niezbyt dokładnie. I gdy rozmawiałem o tym z fachowcem, usłyszałem 'it's not a bug it's a feature'.
Czyli w chwili obecnej takie niewyspecjalizowane narzędzie może zastąpić przeciętnego dzirnnikarza, który przewala depesze PAPu na swój portal ale samo nie napisze nic lepszego.
Pytanie, czy to nie sygnał, że właśnie taka przeciętność będzie dominująca w przyszłości?
Dodatkowo pojawia się jeszcze jeden aspekt, coraz częściej poruszany, mianowicie kwestia odpowiedzialności za błędy popełniane przez AI. Już kilkakrotnie spotkałam się ze wzmiankami o sytuacjach, kiedy sztuczna inteligencja doprowadziła do jakiejś szkody/problemu. Nie piszę o przypadkach, kiedy ktoś chciał znaleźć odpowiedź na ChatGTP i dostał bzdury, ale kiedy np. AI oficjalnie "zatrudnione" przez jakąś firmę czy agencję wprowadzało ludzi w błąd lub "podejmowało działania" na ich szkodę. W takich przypadkach firmy zasłaniają się "błędem AI", ale to przestaje wystarczać, bo to jakby zatrudnić dziesięciolatka jako księgowego i tłumaczyć jego błędy w stylu "to tylko dziecko". Możliwe, że za jakiś czas ta kwestia zostanie uregulowana prawnie. A wspominam o tym dlatego, że jednym z potencjalnych rozwiązań, zabezpieczających interesy komercyjnych użytkowników AI, może być ograniczenie jej wykorzystania do zastosowań z jak najmniejszym prawdopodobieństwem wystąpienia błędów. Czyli przewalanie depesz PAP - tak, ale napisanie czegoś wymagającego "samodzielnej" weryfikacji źródeł - NIE.
Wracając jeszcze do minionych wątków - postanowiłam sprawdzić, jak potoczyła się historia z omawianym tutaj "wywiadem z Szymborską", a mianowicie, czy spowodował on generowanie błędnych informacji przez AI. Z pozytywów - wygląda na to, że tak się nie stało. Z negatywów - wygląda na to, że tak się nie stało, bo jakiś "czynnik ludzki" o to zadbał. Dlaczego tak uważam? Ponieważ o ile czat udziela poprawnej odpowiedzi, czyli "Szymborska nie mogła wypowiedzieć się na temat twórczości Han Tang, bo zmarła zanim ta twórczość stała się znana", to rozwinięcie zawiera już błędy logiczne i merytoryczne, tak jakby ktoś wklepał "na twardo" początek, a resztę AI dopisywało po swojemu. Przykłady:
Czas kiedy AI nas załatwi zbliża się dużymi krokami. Hebius założył ten wątek niecałe 2 lata temu, wyśmiewaliśmy się wtedy z głupot produkowanych przez chat gpt, patrząc z dzisiejszej perspektywy, postęp jest spory.
Być może udostępnienie przez Twitter Groka2 to wejście w nowy etap. Timeline zalewany jest różnymi obrazkami, w których znane postacie, głównie politycy umieszczani są w różnych dziwnych sytuacjach i wygląda to całkiem nieźle. Jasne, póki co, na pierwszy rzut oka widać, że to fake, ale za kolejny rok lub dwa będzie to prawdopodobnie w stu procentach realistyczne. Zresztą, już zapewne jest, tylko w bardziej zaawansowanych, płatnych narzędziach. Stoimy u progu świata, w którym nie da sie już odróżnić prawdy od fałszu co sprawi, że i prawda i fałsz przestaną budzić emocje, które powinny budzić.
Nienackiego, Grok2 nie potrafi narysować, ale z bardziej znanymi twarzami radzi sobie dobrze. Ja zrobiłem taki obrazek:
Ale z informacjami tekstowymi o Nienackim problemu nie ma, tzn są pewne nieścisłości ale musicie przyznać, że wygląda to całkiem zgrabnie. Takie info dostałem na hasło: Zbigniew Nienacki na jachcie.
Taaa... I nie będzie trzeba robić już w paintcie takich obrazków, jak ten
A co powiecie na spotkanie Klossa z kosmitami na poligonie w Kolberg? Według Groka wyglądało to tak:
Twtter is a day by day war
Ostatni Post: Zupełnie inna "Wyspa Złoczyńców" Jędryki Najnowszy użytkownik:: Lumi Ostatnie posty Posty nieprzeczytane
