Andrew Criddles statistiska undersökning av ordfrekvensen i Klemensbrevet

År 1995 publicerade Andrew Criddle artikeln On the Mar Saba Letter Attributed to Clement of Alexandria, JECS 3.2, 1995, 215–220. I denna prövade han en statistisk modell utformad för att bedöma sannolikheten för att en viss text är skriven av en viss författare. Detta anser jag vara en av de starkaste och samtligt mest svårbedömda invändningarna som har gjorts mot Klemensbrevets äkthet.

Metoden går ut på att räkna förekomsten av dels helt nya ord som den berörda författaren aldrig tidigare använt (hädanefter: 0-ord), dels sådana ord som denne tidigare använt men då endast en gång (hädanefter: 1-ord) och där den nya användningen gör att författaren nu använt ordet mer än en gång. Enligt denna modell bör förhållandet mellan 1-orden och 0-orden förbli ungefär detsamma även sedan ytterligare texter förts till författarens bevarade litteratur.

Underlaget till studien är Otto Stählins sammanställning över Klemens’ ordbruk i Clemens Alexandrinus, som utkom år 1936. Flera har framhållit att om Klemensbrevet verkligen är förfalskat måste den förfalskningen ha gjorts efter år 1936 eftersom endast genom att ha tillgång till denna konkordans eller ordlista synes det ha varit möjligt att åstadkomma en så pass perfekt förfalskning. Criddle hävdar i sin studie att brevet är för perfekt genom att det statistiskt sett innehåller för många 1-ord och för få 0-ord, mot vad man kunde förvänta sig och att detta tyder på att någon valt ord ur Stählins sammanställning och därmed plockat för många 1-ord och använt för få 0-ord.

Stählins arbete är ett mycket omfattande verk på över 800 packade boksidor. Jag har frågat Criddle och han har då uppgivit att han i Stählins verk plockat ut 1295 ord som Klemens använt i de verk som tillskrivs honom (Se: FRDB). Av alla ord Klemens använt förekommer naturligtvis de vanliga orden många hundra gånger. Men här talar vi alltså bara om antalet olika ord som använts. Av de 1295 ord (från sannolikt fler än 10 000) som Criddle plockade ut räknade han till 484 som Klemens använt vid endast ett tillfälle. Ifall man nu delar 484 med 1295 får man resultatet 0,3737, eller i runda tal 37,5 % = 3/8; det vill säga relationen mellan de ord som används bara en gång och de ord som används mer än en gång av Klemens i alla hans verk. Criddle räknar alltså med ett förhållande på 3 till 8.

Jag har kontrollerat Criddles uppgifter, dock utan att göra det fullständigt. Jag har kontrollerat siffrorna genom att räkna alla ord på sidouppslagen 202-3, 232-3, 262-3, 302-3, 332-3 och så vidare upp ”till 802-3, totalt 38 sidor. Dessa sidor innehåller 632 ord, varav 267 är 1-ord. Criddles underlag var visserligen dubbelt så stort (1295 ord) som mitt (632 ord), ändå är underlaget så pass stort att avvikelsen synes onormalt stor – då 267/632 = 0,422, alltså 42,2 % mot Criddles 37,4 %. Jag är inte säker på vad detta egentligen innebär, om det har någon betydelse alls, eftersom ju högre procenttal desto mer avviker Klemensbrevet från det förväntade. Dessutom är det mycket svårt att veta vilka ord man ska räkna och vilka man inte ska räkna, eftersom samma ord ofta har många betydelser. Hos Stählin är sådana ord listade i underavdelningar och jag har inte tagit med dessa i beräkningen. Om också de ska ingå blir det fler ord och också fler 1-ord. Detta är ett stort problem i studien, eftersom alla som arbetar med språk känner till att det är mycket svårt att avgöra vad som ska räknas som ord och vad som inte ska räknas som ord, utan kanske som en sammansättning. Är återvända ett eller två ord (vända åter)? Är SAS ett ord?

I vilket fall ser beräkningsgrunden ut som följer. Om vi har 1000 ord av Klemens och 375 av dessa är 1-ord och ytterligare text tillkommer ska fortfarande förhållandet 375/1000 bibehållas. Låt säga att 8 nya ord tillkommer. Då ökar den totala ordmassan till 1008 samtidigt som också 1-orden ökar med 8 (såvida nu inga av de nya orden var dubbletter, alltså 2-ord) till 383 ord (375 + 8). Men 383/1008 ger ett högre värde och för att bibehålla samma förhållande (37,5) måste 1-orden minska med 5 till 378 (375 + 8 – 5 = 378). Det betyder att om förhållandet 375/1000 ska bibehållas måste det för varje 8 nya ord tillkomma 5 stycken 1-ord (378/1008 = 375/1000 = 0,375).

Klemensbrevet innehåller enligt Criddle 4 ord som är helt nya, alltså 0-ord. Det borde då statistiskt sett ha funnits 2,5 stycken 1-ord, medan det finns 9. Förhållandet är 4/9, medan det borde ha varit 8/5. Man kan alltså säga att det är 3,6 gånger för många 1-ord i förhållande till 0-ord.

År 2009 publicerades en artikel där två matematiker undersökte Criddles studie (Andrew R. Solow & Woollcott K. Smith, A Statistical Problem Concerning the Mar Saba Letter, The American Statistician. August 1, 2009, 63(3): 254-257). I stort sett kan man säga att de bekräftar riktigheten i Criddles beräkningar, men väcker vissa tvivel om andra frågor. Bland annat undrar de över: “whether or not the decision to focus on the number of 1-words preceded the observation that they are in surplus”. De säger att detta “is not clear. If it did not, then this presents a substantial problem in interpreting these results.” De ville också veta det totala antalet ord i Stählins verk och hur Criddle gjort urvalet (på 1295 ord), allt för att kunna bedöma relevansen av hans resultat.

Jag uppskattar antalet ord till cirka 10 500 olika ord (oräknat ordens ytterligare betydelser). Resultatet får jag genom att dividera 632 ord med de 38 sidorna jag nyttjade, vilket ger ett genomsnitt på 16,6 ord/sida. Eftersom den del av Stählins verk som innehåller ordlistan är 632 sidor lång innebär det 632 x 16,6 = 10 511 ord.

Även Morton Smith bestämde antalet 1-ord och 0-ord, men fick ett annat resultat, vilket visar svårigheten med att bestämma vad som är ett ord och vad som inte är ett ord.  Dessutom är grekiskan otymplig då språket är uppbyggt på att orden utökas med både förled, instopp och efterled för att uttrycka olika aspekter, genus, etc. Ibland kan ett ord nästan säga detsamma som en kort mening och vad är då ett ord?

Vidare måste man ju utesluta alla ord i Klemensbrevet där Klemens citerar ur annat. Exempelvis kan inget av citaten från Markusevangeliet ingå, då detta måste ses som ”Markus’ språk” och inte Klemens’. Klemens har emellertid också med kanske ett tiotal andra citat ur främst Bibeln, men även från Filon från Alexandria, så detta måste likaledes elimineras. Problemet med allt detta är att Klemens sällan citerar rakt av utan väver in citaten – och ibland bara ungefärligt – i sina egna meningar, och hur gör man då för att utesluta rätt ord? Dessutom undrar jag hur Stählins eget urval ser ut? Är citaten bortplockade även där? Det är när man börjar nysta i dessa detaljer som man inser hur omöjligt det är att göra detta exakt, framför allt med en författare som Klemens som så fritt lånar från andra och det mest hela tiden.

Andrew Criddle räknar med fyra 0-ord, med undantag för προσπορεύονται, som kommer från Mark 10:35. Här är dessa fyra (dock inte i deras grundform):

ἀπέρατον
ἀπόγραφον
ἀπροφυλάκτως
φθονερῶς

Av dessa används ἀπέρατον två gånger, och kommer därför inte utgöra ett nytt 1-ord, men väl ett 2-ord.

Smith listar utöver dessa fyra också ἀναιδστατα och μηχανώντων som 0-ord. Criddle räknar μηχανώντων som ett 1-ord eftersom han uppenbarligen gör en annan tolkning av vad som ska räknas som ett ord.

Criddle plockar ut 9 stycken 1-ord, med undantag av Ἰεριχὼ (Jeriko) som kommer från Mk 10:46:

ἀνδραποδώδων
ἀσφαλῶς
ἐνσωμάτων
ἐξαγγέλλων
ἐξαντλῆται
ἱεροφαντικὴν
κατεψευσμένα
μηχανώντων
προσεπήγαγε

Utöver dessa 9 listar Smith ytterligare fyra 1-ord (om jag utesluter μωρίας från Ordspråk 26:5 och Σατανᾶ från Upp 2:24):

ἐπτάκις
πνευματικώτερον
στενῆς
χρησιμωτάτας

På det stora hela kan man dock säga att Criddles studie är korrekt genomförd, frågan är dock hur relevant den är?

Följande invändningar kan göras:

1)      Svårigheten att bestämma vad som är ett ord och vad som inte är ett ord. Med så få ord att laborera med blir en avvikelse på några få ord avgörande.

2)      Inget sägs om antalet ord, endast förhållandet, som ska vara 5/8. Men det är stor skillnad på att om vi förväntar oss 50 st. 1-ord och 80 st. 0-ord, mot 5 st. 1-ord och 8 st. 0-ord eller kanske 0,5 st. 1-ord och 0,8 st. 0-ord. Ju fler ord desto säkrare resultat och motsatt då, ju färre desto osäkrare.

3)      Brevet är mycket kort och hur säkra kan vi vara på att statistiken då slår rätt? Walter M. Shandruk har i en studie, Statistics and Hapax Legomena in the Mar Saba Letter, använt samma metod på andra korta texter (Paulus’ brev och Filons skrifter)  med likartat resultat – nämligen kraftiga individuella avvikelser på korta texter.

4)      Med tanke på textmassans begränsning, de utvalda ordens fåtalighet och därmed bristande underlag, i kombination med avsaknad av jämförande studier på andra korta brev, gör det statistiska underlaget svagt och det kan därmed knappast ses som statistiskt säkerställt?

5)      All övrig bevarad litteratur av Klemens består av böcker. Detta brev är det enda bevarade brevet av Klemens. Kan vi förvänta oss att Klemens är lika formell i ett brev som i en bok och att hans ordval i hans böcker är direkt jämförbara med det han använder i ett brev? Det är till och med rimligt att man i ett brev lånar uttryck som man använt i sina böcker och därför lättare upprepar det man tidigare sagt och får fler 1-ord och färre 0-ord.

6)      Det råder dessutom osäkerhet om huruvida något eller några av de få bevarade verken av Klemens verkligen skrivits av Klemens själv. Dessa ingår trots allt i Stählins ordlista och om böcker som inte skrivits av honom ingår i denna sammanställning ändrar det helt grunden för Criddles beräkningar.

7)      Man kan också ifrågasätta vissa ord i sig. Exempelvis använder Klemens ordet ἱεροφαντικὴν (hierofantisk) när han beskriver Jesus hierofantiska undervisning. Detta är ett 1-ord, ett ord som Klemens använt vid ett ytterligare tillfälle och därmed ett ord som späder på uppfattningen att brevet inte är skrivet av Klemens. Men man kan fråga sig vilket annat ord som finns att tillgå om man just ska beskriva en hierofantisk undervisning? Detta att ett brev handlar om ett visst ämne styr valet av ord. Skriver man om den svenska politiken kanske det inte är underligt att man använder ett ord som regering.

8)      Jag föreställer mig att det omöjligen kan vara så att ett förhållande som 37,5 % nya ord är en statisk faktor, så som Criddle och modellen förutsätter. Efterhand som allt fler ord används måste rimligen antalet nya ord avta. Och då det finns fler ord använda borde också fler 1-ord finnas och ”risken” för upprepning av dessa öka. Rimligen borde förhållandet följa en så kallade gaussisk kurva och därmed uppvisa olika procentsatser mellan 1-ord och 0-ord beroende på den totala textmassans omfång.

9)      Modellen är faktiskt testad på Shakespeares verk. Där lät man testa den på 7 verk av William Shakespeare. Resultatet blev att fyra av dessa sju inte skulle vara skrivna av Shakespeare och det inkluderade två om vilka det råder konsensus att de är skrivna av Shakespeare. (Ronald Thisted & Bradley Efron, Did Shakespeare Write a Newly-Discovered Poem? Biometrika 74, 1987: 445–55) Thisted och Efron drog slutsatsen att tester som baserar sig på förekomsten av ord som tidigare aldrig använts eller använts endast en gång, inte var tillförlitliga. (451)

Roger Viklund, 2010-08-04

5 kommentarer

  1. Bengt Bengtsson said,

    4 augusti, 2010 den 17:39

    Dina avslutande nio punkter med ifrågasättanden och invändningar säger egentligen mer än alla detaljer som du dessförinnan ägnar ditt inlägg åt.

    Det finns egentligen inte mycket att tillägga till dessa nio punkter som du själv radar upp i slutet av bloggartikeln.

    En variant av det som du har anfört kan man finna i denna Wikipediartikel som nås via länken http://sv.wikipedia.org/wiki/Operationell_definition .

    En operationell definition specificerar DELS hur ett önskat material ska samlas in – läs: hur man ska gå till väga för att göra ett visst urval – och DELS hur detta material/urval därefter ska tolkas. Dvs det handlar om en metodik i två separata steg.

    Den operationella definitionens uppgift/syfte är att göra den teoretiska definitionen lättare hanterbar/greppbar/åtkomlig. Den teoretiska definitionen kan i sin tur definieras som en specificering/specifikation av den problemställning man vill komma åt att undersöka närmare.

    Lite förenklat kan man säga att den teoretiska definitionen i hög grad handlar om problemställningens abstrakta aspekter, allt medan den operationella definitionen föreslår ett (mer) konkret sätt att mäta det som den teoretiska definitionen av problemställningen ”innerst inne” handlar om.

    Med andra ord: Den operationella definitionen innebär att den teoretiska definitionen eller, om man så vill, problemställningen genomgår en operationaliseringsprocess i syfte att problemställningen ska göras mätbar på ett så objektivt och invändningsfritt sätt som möjligt.

    Den som är kritisk mot den här sortens förfaringssätt brukar framför allt komma med invändningen, att man därigenom ju kommer att mäta det som man i den operationella definitionen förklarar att man avser att mäta. Vilket onekligen leder ens tankar till begreppet cirkelbevis. Typ att intelligens är vad som mäts med hjälp av intelligenstestet XYZ.

    Låt mig fortsätta analogin med IQ och intelligenstestning/IQ-mätning. Det säger sig självt att den teoretiska definitionen på vad intelligens är inte nödvändigtvis överensstämmer med den mätmetod som föreslås av den operationella definitionen på vad intelligens är (nämligen att intelligens är det som mäts med IQ-testmetoden XYZ).

    Här föreligger som regel en rad fel som försvårar eller rent av omöjliggör för oss att sätta likhetstecken mellan å ena sidan problemområdet (säg att ringa in och komma åt begreppet intelligens) och å andra sidan mätmetoden (IQ-testet XYZ). Felen har bäring på såväl validiteten som reliabiliteten, ett faktum som naturligtvis får mer eller mindre stor inverkan på hur stor överensstämmelsen egentligen – rent objektivt sett – är mellan den teoretiska och den operationella definitionen.

    Validitet kan i detta sammanhang översättas med: Hur pass väl svarar den aktuella studien mot den problemställning som följer av den teoretiska definitionen? Dvs: Mäter man det som man vill mäta? Eller mäter man i själva verket oavsiktligt något annat?

    På motsvarande vis blir reliabilitet då: Hur pass hög är tillförlitligheten i de utförda mätningarna? Kan experimentet upprepas med en annan forskare vid rodret och resultatet ändå bli exakt detsamma (så kallad upprepbarhet)?

    Jag tycker att du i dina nio invändnings- och ifrågasättandepunkter fullständigt smular sönder reliabiliteten i Andrew Criddles använda metodik. Dvs definitionerna av vad som är 0-ord, 1-ord etc är – åtminstone att döma av din beskrivning – så vaga och oprecisa, att två forskare kan förväntas komma till helt olika resultat och slutsatser, även när/om exakt samma material studeras.

    Även validiteten i i Andrew Criddles studie – att det ska föreligga en viss kvot mellan 1-ord och 0-ord för att äkthetkravet ska anses vara uppfyllt – kan på goda grunder ifrågasättas. Ett bra sätt att testa detta är att tillämpa exakt samma mätmetod på texter av en och samma författare, vars olika texter bevisligen är äkta, dvs skrivna av just honom.

    Du nämner därvidlag att metoden har testats på såväl Paulus som Shakespeare – med motsägelsefulla resultat som följd. I mina ögon är just Paulus och Shakespeare inte de författare som i första hand bör ingå i kontrollgruppen, eftersom båda dessa är drabbade av äkthetstvivel.

    Idealet vore väl snarare att det i kontrollgruppen kunde ingå författare om vars texters äkthet inte det minsta tvivel råder. Förhoppningsvis kan Sebastian Bernhardssons doktorsavhandling från hösten 2009 bli till viss hjälp därvidlag, eftersom Bernhardsson enligt pressmeddelandet analyserar data från ett trettiotal böcker av olika klassiska författare, där äkthetstvivel definitivt saknas.

    Om jag fattar dig rätt, Roger, är dessutom de båda matematiker, som du refererar till, kritiska till att det inte framgår hos Criddle om huruvida han använde sig av kvoten 1-ord dividerat med 0-ord som första arbetshypotes ELLER om han valde ut denna kvot sedan han i efterhand funnit att just den variabeln verkar intressant att titta närmare på.

    Om den misstanken hos matematikerna är välgrundad och korrekt, då föreligger det en sorts forskarbias som direkt svärtar ned Criddles undersökning.

    Det ideala upplägget av den här sortens statistiska studier kan liknas vid vad som gäller för läkemedelsprövningar. På läkemedelsstudier vill en sann och välutbildad statistiker ställa tre olika krav: De bör vara 1) randomiserade, 2) dubbelblinda och 3) placebokontrollerade. I klartext innebär detta att försökspersonerna måste lottas/slumpas in i de olika behandlingsgrupperna (= randomiseringskravet). Vidare ska både försöksledare och försökspersoner vara ovetande om vilka försökspersoner som som tillhör vilken grupp (= dubbelblindhetskravet). Slutligen bör en av grupperna ges ett placebopreparat (= kontrollgruppen).

    I fallet med Andrew Criddles studie tycks det mig som att inget av dessa tre krav har blivit tillgodosett till fullo. Varför ska man ställa mindre krav på en sådan här ordräkningsstudie à la Criddle än man gör på en läkemedelsprövningsstudie, om syftet är att ernå ett vetenskapligt trovärdigt och oantastligt resultat sett både från validitets- och reliabilitetssynpunkt?

    Se där en fråga som jag skulle vilja kalla för retorisk.

    Gilla

  2. 4 augusti, 2010 den 18:02

    Criddle ger egentligen ingen större bakgrundsfakta om hur hans metodik såg ut. Jag blev till och med tvungen att fråga honom om hur många ord som ingick i studien och jag vet inte hur han samlade in dem, något som också efterfrågades i den granskande studien.

    Men jag har funderat något på resultatet. Låt säga att man slår en tärning 600 gånger. Då kan man förvänta sig att få siffran 6 ska komma upp 100 gånger. Alla resultat mellan kanske 90 och 110 får ses som rimliga och även ytterligare avvikelser kan förekomma utan någon större ögonbrynslyftning. Slår man tärningen 6000 gånger så kan man tänka sig ett större spann än 10 färre och 10 fler, dock inte 10-procentiga avvikelser. Låt säga att man däremot slår tärningen bara 6 gånger, kan man då tänka sig att siffran 6 kommer upp alla gånger? Visst, har man spelat tärningsspel vet man att man kan få 6 sexor på raken utan något som helst fusk. Resultatet av detta är givetvis att avvikelser på ett litet material egentligen inte säger så mycket.

    Det ideala hade emellertid varit om brevet innehållit 8 stycken 0-ord och endas 5 stycken 1-ord. Eller hade det det? Skulle då inte misstanken om att detta brev var förfalskat blivit ännu större? Ty även om 5/8 är det ideala så händer det ytterst sällan att man hamnar exakt på den siffran vid ett enskilt tillfälle. Skulle det i stället inte kunna tyda på att en slug förfalskare räknat förhållandet mellan 0-orden och 1-orden och sett till att just det rätta förhållandet uppstod?

    Här kommer frågan om metodik in. Har man vid studiens inledning redan vetskap om hur det förhåller sig och söker stöd för en viss uppfattning? Och har man bestämt sig hur man ska tolka utfallet eller väljer man att tolka efter hur resultatet blir? Vad är rimligt att förvänta sig av en sådan studie? Enda rimliga alternativet är att motsvarande studier utförs på låt säga 100 brev av motsvarande längd, brev som vi vet är äkta och så ser vad utfallet blir. Är Klemensbrevet då det enda i sitt slag eller kommer vi att hitta fler brev med liknande eller större avvikelser?

    Gilla

  3. Bengt Bengtsson said,

    4 augusti, 2010 den 18:12

    Här självdör vår dialog, Roger, av det enkla skälet att total enighet råder oss emellan. Vi har helt enkelt inget att käbbla om. ;o)

    Gilla

  4. 4 augusti, 2010 den 18:19

    Kanske Ehrmans slutsatser tål att upprepas i ljuset av vad som här har framkommit:

    “… why is it that, on the other hand, the vocabulary and writing style of this document are so much like Clement? One impressive study, in fact, has shown that this letter of Clement is more like Clement than Clement ever is. That may sound odd at first, so I should explain how it works. Suppose you have a friend who uses the word awesome a lot, and you want to impersonate her. It may turn out that if you were actually to count, she uses the term awesome, say, once every three hundred words. But when you imitate her, you use it once every fifty words so that anyone accustomed to hearing her speak will recognize this as one of her characteristic words and think, “Yes, sounds just like her.” What we have here is a similar phenomenon: There is too much that is like Clement in this short letter, more than could be expected in any passage of comparable length elsewhere in Clement.” (Bart D. Ehrman, Lost Christianities: The Battles for Scripture and the Faiths We Never Knew, s. 85–86)

    Gilla

  5. Den andre BB said,

    5 augusti, 2010 den 05:37

    Som sam:are snarare än matematiker tycker jag gott att man kan leta upp lite goferträd, bygga en ark och stoppa all statistik i den. Det vore uppfriskande, särskilt ett valår =)

    Gilla


Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

%d bloggare gillar detta: