Music.
Kommen in beim Bredow Cast das ist der Podcast aus dem Leibniz Institut für Medienforschung in Hamburg mit mir Johannes Seebauer
ich spreche in diesem Format mit Forscherinnen und Forschern aus unserem Institut über ihre Arbeit
Gregor wiedemann ist heute mein Gast und er wird mir erklären wie man Verfahren entwickelt zur automatischen Erkennung von Argumenten.
In großen Textmengen.
Das kann sehr hilfreich sein als Forscher wenn man sich mit großen Textmengen auseinandersetzen muss was z.b. heutzutage auf Social Media auf der Fall ist Gregor und sein Team Fröschen an diesem Instrument.
Und heute wird er das im Detail erklären Hallo Gregor.
Hallo Jan schön dass ich hier sein kann ja schon ziemlich lange geplant jetzt hat es endlich mal geklappt du hast Politikwissenschaft und Informatik studiert.
In Leipzig und Miami hast du auch promoviert im Fach Informatik das heißt man merkt schon du bist eigentlich nicht so ein klassischer Medienforscher du
kommst nicht so wie viele an unserem Institut aus der Kommunikationswissenschaft sondern hast eher mit Computern und mit Politik zu tun gehabt wie.
War denn dein Weg eigentlich in die Medienforschung ja das ist tatsächlich so ein bisschen mit
Biegung verbunden gewesen also wie schon gesagt ich habe eigentlich angefangen mehr mit so einem sozialwissenschaftlichen Erkenntnisinteresse zu studieren und
Politikwissenschaft studiert kannst mich aber auch gleichzeitig nicht so ganz entscheidend weil ich Informatik auch spannend fand und dann gabs in tribe
sich noch als einer der auslaufenden Magisterstudiengänge die Chance tatsächlich beides gleichberechtigt im Hauptfach zu studieren dann habe ich das eine ganze Weile gemacht und gemerkt okay das verträgt sich auch ganz gut eigentlich weil es gibt diese ganzen Entwicklungen im Bereich der Geistes und Sozialwissenschaften die auf so Digitalisierung ihrer Methoden setzen
und dann hatten wir in großen Schwerpunkt für automatische Sprachverarbeitung in der Informatik in Leipzig
und da habe ich dann schnell gesehen okay die ganzen Methoden um dieser großen Textmengen dir zu anfallen so ein bisschen
mehr aufzubereiten und ein bisschen besser zu verstehen wie kann man das nutzbar machen für sozialwissenschaftliche Analysen das hat mich dann auf jeden Fall gereizt und war dann so der der Einstieg in diese.
Sind Schwerpunkte der Informatik eben für die sozialwissenschaftliche Anwendung.
Genau und da lag es dann irgendwann ah sozusagen über den Weg der dritte Tür humanities.
Die er soeben diese geisteswissenschaftliche Schiene eben abdecken dann rüber zu den Sozialwissenschaften wieder mehr zu gehen und jetzt bin ich dann tatsächlich.
In Hamburg irgendwann gelandet bei den Medienwissenschaften und tatsächlich ist es so dass die Verfahren sich für die Disziplinen alle.
Mehr oder weniger eigenen die wir erforschen und die bei mir zum Einsatz kommen also die sind jetzt nicht sehr disziplinär festgelegt
am sondern ist es tatsächlich so dass man die Sachen die in Informatik da entwickelt werden dann halt auch auf der Fragestellung aus ganz unterschiedlichen Disziplinen gut anwenden kann und die dafür aber jeweils vielleicht mal ein bisschen anpassen das
diese Digitalisierung der Methoden die du gerade angesprochen hast das.
Manja computational social science richtig das wäre so ein Oberbegriff der Augendruck ist seit ein paar Jahren dafür ja und darunter
versteht man einfach das Methoden der klassischen Sozialwissenschaft in den digitalen Raum.
Transportiert wurden oder wie ja dafür kommt von beiden Seiten her also die Anforderung ist einerseits natürlich aus den Einwänden Disziplinen heraus dass die gerne mit den Methoden weiterarbeiten wollen die sie.
Bereits kennen und dir eine lange Tradition in ihren Fächern haben und die gerne wollen dass man das was man dort händisch und manuell in viel fair mühsamer Arbeit erledigt hat.
Irgend große Mengen skalieren kann sodass man auch große Textmengen vielleicht heraus werden kann oder gleichzeitig überhaupt erst mal so eine Orientierung in den großen,
Datenmengen schafft so dass man sozusagen rausfiltern kann was ist denn jetzt überhaupt interessant für mich und meine Fragestellung
und gleichzeitig wird sagen gibt's eben von der anderen Seite her die Bewegung von der Informatik auf die anwenden den Disziplinen zu die sagen
wir haben hier die und die Methoden die wir bei uns entwickelt haben vielleicht vor dem Hintergrund von eigentlich Suchmaschinen Technologie und wir haben aber den Eindruck
das könnte auch interessant sein vielleicht für euch in den anwenden Disziplinen wollte nicht damit irgendwas machen.
Mit ihr arbeitet mit mit AG mit meinem also mit wo aus großen Textmengen Argument Bestandteile oder Argument Strukturen raus gefiltert werden das hat man also früher.
Im Inhaltsanalysen händisch gemacht da saßen dann mehrere Leute und haben den einen Text durch geackert und codiert und stellen raus gefehlt hat das passiert jetzt alles automatisch
und das ist auch notwendig wahrscheinlich um der ganzen Datenmenge die im Internet so herum war bei Herr zu werden
genau also es gibt zwei Quellen quasi wenn man das grob auftrennen will einmal so
onedigital Daten nennt man das also die Sachen die tatsächlich einfach in den digitalen Sphären entstehen das ist das alles was in Social Media und im Internet so zu finden ist.
Und dann gibt es eben auch interessant für die sozialwissenschaftliche Forschung viel Retro digitalisierte Daten wo eben Bücher digitalisiert werden Zeitungen digitalisiert werden also die.
Großen Nachrichten Zeitungen z.b. haben sich Mühe gegeben in den letzten Jahren zum einfriere ganzen Archive zu digitalisieren man kann von der Zeit seit Gründung 19.46 alle,
Artikel digital abrufen und durchsuchen und da kommt eine ganze Menge zusammen also gerade bei der Zeit jetzt als Beispiel genommen da sind wir bei.
Zucker ja irgendwas zwischen 500 000 1 Millionen Artikeln in den letzten Jahren das schafft man jetzt händisch eben nicht mehr sondern für sowas braucht es daneben digitale Methoden und Argument mining ist jetzt tatsächlich in einem speziellen Projekt was bei uns Anbieter research methods läuft gerade läuft
die zentrale Methode und da gibt's wie du schon gesagt hast darum eben
argument Analysen mit digitalen Methoden zugänglich zu machen und das erbaut teilweise und natürlich dadurch ganz explizit aber auch eben sehr systematisch.
Das nach was man hat sich in der Inhaltsanalyse gemacht hat also die kodieren tatsächlich von Hand Texte die argumentative und Bestandteile enthalten zeichnen dort zum Beispiel Prämissen und Konklusion aus
argumentieren oder die Agentin encodieren ob die sozusagen ein pro oder contra Argument im bezug auf der Ennest und das Thema darstellen und dann als eine der letzten Arbeiten die wir gemacht haben,
kodieren wir auch Argument Aspekte z.b. und diese manuellen Codierungen können wir dann her nehmen als Trainingsdaten für machine learning Modelle.
Und können quasi Computer Modellen beibringen.
Diese Codierung die wir gemacht haben in neuen unbekannten Texten wiederzuerkennen und wieder zu entdecken also technisch funktioniert das so dass ihr.
Der dem Computer erklärt was ein Argument überhaupt ist,
ja im Prinzip der Goa unter Argument versteht dir in dem Zusammenhang so ein klassisches also die sprachwissenschaftliche Definition von eine Abfolge von Aussagen + Konklusion oder.
Küchensieb genau ja also das ist also dieses fällt das Argument mining in der Informatik ist auch so ein.
Der kleine Unterbereich im natural language processing der seit ca 2014 sehr sehr populär geworden ist also das ist noch mal kurz erklären das nicht schon längst
ja na klar natural language processing ist sozusagen diese dieses Unterfeld der Informatik dass ich mit der Verarbeitung von natürlicher Sprache beschäftigt da haben wir den
die ganze Bandbreite von Spracherkennung also gesprochene Sprache in Text umwandeln oder umgekehrt geschriebene Sprache in gesprochene Sprache überführen durch Sprachsynthese.
Und eines der großen Bereiche mit denen wir uns hier eben auch beschäftigen weil wir eben diese,
Inhaltsanalyse automatisieren wollen ist eben dass er Sprachverstehen dem Computer beizubringen also zumindest sozusagen eine Art von Simulation von Sprachverstehen.
Ja indem wir.
Leben mit Modellen mit verschiedenen Verfahren von wer zum Beispiel wortanalyse wortfeldanalyse aber auch höher komplexen Verfahren auf die Suche nach bestimmten bedeutungs muss dann gehen.
Und gerade das ist sozusagen grob das was man in natural language processing macht.
Wir waren jetzt gerade da wo wir ein Argument definiere ohne und da müssen wir zurück nach wieder zu Argument zurückfinden stimmt die also Argumente ist das ist tatsächlich so zu angeben auch in der Informatik für ein.
Halbwegs neues Feld noch.
Und da gibt es dann eben tatsächlich zwei verschiedene Zugangsweise wie du das schon gesagt hast er so auf der linguistischen Ecke kommen und da haben wir auch ganz unterschiedliche Modelle von Argumentation von unterschiedlicher Komplexität also.
Beispiele während was ihr wollt,
Skins die halt irgendwie 80 verschiedene Argumenttypen definieren oder das toulmin Schema das nicht nur Prämisse und Konklusion definiert sondern auch noch verschiedene andere Argument Bestandteile wie Argument Marke oder.
Ribatejo Teile und so weiter es wird sehr komplex genau das wird Werder komplex.
Und man hat dann in der Informatik schnell das Problem dass die aus den Geistes und Sozialwissenschaften stammenden oder irgendwie philosophisch inspirierten Modelle häufig entweder zu schwammig für eine Operationalisierung sind oder zu komplex tatsächlich als dass man sie wirklich.
Für den Computer gut lernbar machen kann.
Deswegen muss man in aller Regel Abstriche in der Komplexität machen und was sucht vereinfachte Modelle und häufig für das in deinem fällt das Argument Meinung dazu und so arbeiten wir auch dafür z.b. Sätze nach.
Offener Satzebene arbeiten und Argumente quasi sozusagen als also in vollständigen Sätzen suchen eventuell noch Kontext setze ein Satz davor Einsatz danach miteinbeziehen.
Und in diesem recht kleinen aber sehr konkreten Abschnitten dann sowas sie Prämissen und Konklusion kodieren.
Also da ist dort seines Argument tatsächlich einfach die Verbindung von Prämisse und Konklusion gegebenenfalls noch mit einem spezifischen Argument Marke ausgezeichnet also Begriffe wie weil deshalb und so weiter die noch mal explizit
deutlich machen in welcher Relation diese beiden Argument Bestandteile zueinander stehen gleichzeitig haben wir aber auch wissen das Problem.
Dafür in empirischen Daten tatsächlich welche expliziten Argument musste gar nicht so häufig finden also eine Arbeit die wir zuletzt gemacht haben arbeitet mit zeitungstext Daten.
Haben wir z.b. die Debatte zur Atomenergie in den letzten 20 Jahren untersucht in einem,
Nachrichten corpus der britischen Zeitung The Guardian und es zeigt sich eben nicht nur in diesem zeitungskorpus sondern auch in deutschen Zeitung ist das der Fall dass er so explizite Argumentation.
Relativ selten sind also in den Artikeln selber nicht in user-kommentar sondern genau also in Social Media ist das tatsächlich jetzt auch nicht so häufig,
sondern was wir viel häufiger denen sind ja so Behauptungen die mit einer spezifischen Wertung verbunden sind oder politische Forderungen sogenannte Clemens.
Die auch in aller Regel quasi wird sagen die ähm das Ende in einer Argumentationskette häufig bilden.
Die aber sozusagen als Argumentationsketten sprachlich gar nicht so vollständig ausgeführt wird in aller Regel.
Und das stellt natürlich auch so computergestützte Verfahren vor ein Problem weil ganz viel Kontextwissen eigentlich notwendig ist und ganz viel Hintergrund Annahmen notwendig sind live.
In aller Regel so gar nicht verfügbar haben und ja der Ansatz wir uns dem leeren ist dann tatsächlich das eben über diese Codierung von relativ großen Tempels von sprachlichen Daten aus empirischen Material eben dann.
Mit machine learning Modell in diesem Bus da lernen die dann halt eben ja einfach wieder erkennen was wir in der händischen Analyse auch gefunden hätten also nur so als Beispiel jetzt.
Ganz simples klassisches Argument wäre ja z.b. nur Katzen haben sieben Leben Gregor ist keine Katze folgt.
Gregor hat nichts im Leben z.b. das wäre so zwei Prämissen ne und eine Konklusion das ist etwas dass ihr nicht in dieser einfache Form
wiederfinden könnt in Artikeln oder in user-kommentar also in der Form so explizit sehr systematisch wie du 14 aufgeschlüsselt hast wäre es doch tatsächlich eher möglich also genau also unser Ziel ist das eigentlich
daran zu arbeiten und in unserem Projekt in dem wir gerade sind das eben genau diese
Prämisse Konklusion Unterscheidung tatsächlich machen können und dann hätten wir sozusagen jetzt in dem Fall eben diese Prämisse.
Gregor ist keine Katze oder die Prämisse Katzen haben 7 leben.
Solche Dinge können wir auf jeden Fall sicher wiederfinden und dann ist es natürlich auch möglich und das ist das Ziel eben auch bei uns im Projekt diese Einzelbestandteile die die wir halbwegs zuverlässig wiederfinden können dann auch in ihrem
sind Zusammenhang in einer logischen in einer Art logischen Modellierungen zugänglich zu machen also das Leben dann genau rausfinden können wie du das schreibst schon gesagt hast.
Die haben wir zwei Prämissen von denen trifft vielleicht eine zu die andere nicht.
Und darauf können wir einen stundenschluss eine bestimmte Schlussfolgerung ziehen also das ist doch tatsächlich sozusagen das Level an Komplexität zu dem wir eigentlich hinwollen.
Und da sind wir eben gerade dran.
Unter anderem dafür eben diese Prämisse und Konklusion als solche eben mit bestimmten Aspekten modellieren also für die.
Atomenergie Debatte z.b. haben wir ja.
Einander Datenkategorien Set von 13 Aspekten identifiziert die wir dort zuverlässig häufig wiedergefunden haben unseren empirischen Daten das ist sowas wie so ein Kostenargument Atomenergie ist er hat verursacht bestimmte krass.
Oder der Aspekt Sicherheit für Reaktorsicherheit.
Gesundheitsaspekte die Auswirkung auf die Umwelt im Auswirkungen auf sind den Klimawandel und so weiter und das sind sozusagen so bestimmte Aspekte die in der Batterie Debatte benannt werden.
Und die können eben unterschiedlich stark auch mit Pro und Contra Positionen verbunden sein also.
Da Kostenargument könnte sozusagen in einem Sinnzusammenhang verwendet werden dass Atomenergie sehr sehr teuer ist und deswegen eigentlich nicht gesellschaftlich gewollt sein kann oder dass sie in irgendeiner Betrachtung doch wieder vergleichsweise günstig wäre,
und damit z.b. in eine Begründung für den Einsatz von mehr Atomenergie liefert.
Und diese Unterscheidungen welche Aspekte werden benannt und in welchem pro oder contra Kontext dass es etwas von der modellierungs Komplexität dafür gerade im Moment für einzelne Debatten nachvollziehen und wie bringt ihr dann.
Auf einer technischen Ebene jetzt der Maschine bei was ein Argument ist woran erkennt der Computer in einem Text das ist jetzt Satz der Teil von dem Argument und nicht nur an,
schreiben da
Satz oder sowas also das ist tatsächlich etwas das mehr oder weniger eine Art blackboxx in Modellen so mit sogenannten neuronalen Netzen gelernt wird aus den empirischen Daten die wir in ein solches Modell.
Einfüttern als wir.
Am Arbeiten relativ klassisch wir in der Inhaltsanalyse mit Code Büchern bei denen beschrieben ist weil ab wann es sich um eine Argument handelt in einem bestimmten Themen Zusammenhang
und dann haben wir Hilfskräfte die große Mengen von Argument muss dann bei oder Argumenten bei uns lesen und dann eben tatsächlich codieren und sagen von hier bis hier.
Ja geht ja sozusagen oder die da da zu sein Argument hat ich war da zum er zum einen und dann von Bord
nix das Wort y in diesem Satz ist jetzt der die spezifische Stelle die den Aspekt dieses Arguments z.b. auszeichnet und das genau wird dort sein für ein Thema für danke Mauthausen setze gemacht
und anhand dieser tausend Sätze,
kann dann dieses machine-learning Modell was für einsetzen in dem Falle ist das ein ein sogenanntes Transformer neuronales Netz Modell lernen.
Fast eben die bestimmten Wort Zusammenhänge auch in ihrem Kontext sind die in ein solches Argument auszeichnen also wir können daneben auch.
Ja ähnliche Textstellen wiederfinden die nicht explizit sozusagen in unseren vorher manuell ausgezeichneten Trainingsdaten wieder auf schon auftraten sondern,
sozusagen semantisch nur nah genug dran sind also diese Modelle sind z.b. in der Lage mit Polysemie und Synonymie umzugehen also,
wir können ähnliche Wörter finden die jetzt nicht in unseren Trainingsdaten vorkam die quasi Synonyme Bedeutung tragen
können aber auch unterscheiden je nach Kontext auf jetzt eben bestimmtes Wort tatsächlich in diesem argumentativen Zusammenhang genutzt wurde oder ob das eben hier in dem ganz neuen Zusammenhang steht und deswegen eigentlich für die Argumentation nicht an der Wand also
durch diese tatsächliche Qualität dieser neuen neuronale Netze Modelle die eben diese Unterscheidung treffen können sind wir doch in der Lage inzwischen.
Sehr sehr gut auch die menschliche Qualität von Codierungen zu erreichen also das war tatsächlich irgendwie vor der einigen Jahren noch durchaus ein Problem das so diese,
Maschinen Codierungen immer deutlich schlechter waren als das was Menschen in möchte Hilfskräfte jetzt in erinnert Analyse Projekten erreichen konnten
aber mittlerweile ist es so wenn wir die Trainingsdaten systematisch genug erstellen und die Kurt Bücher hat sich einheitlich genug angewendet werden dann ist die Maschine auf dem Level.
Von menschlichen kodieren und das ist natürlich was was uns erlaubt dass wir tatsächlich solche Zeitungs Textkorpora von.
Zeitungsbericht Erstattung über 20 Jahre hinweg mit vielen hunderttausend Artikeln zu verschiedenen Themen am Ende bearbeiten können.
Und wie genau ist jetzt dieses Tool würdest du sagen also.
Fängt dieses Tool wirklich jedes Argument in im Text auf oder geht euch da was durch die Lappen jetzt geht uns auf jeden Fall auch was durch die Lappen dass es definitiv.
Der Fall dass diese Modelle nicht hundertprozentig korrekt arbeiten
wie aber auch Menschen nicht hundertprozentig korrekt arbeiten also wir müssen um diese Modelle zu trainieren eben Trainingsdaten erstellen und dazu müssen wir auch sicherstellen dass dieses diese Trainingsdaten bestimmte Qualität haben und das wird.
Reicht indem man,
intercoder Reliabilität in bestimmt ja also das heißt dass du irgendwie an zwei Codierer mindestens die wir auf die gleiche Menge ansetzen los
jagen und die wird sagen dann halt die Codierung für uns vornehmen und am Ende gucken wir wie gut stimmen die überein und natürlich sind viele Sachen Interpretationsfragen ja also diese Sprache ist nicht ganz eindeutig die Grundbücher sind nicht ganz eindeutig und da gibt's viele Grenzfälle,
wo man sagt und wie jetzt würden wir eigentlich sagen dass ihr Essen Kostenargument oder das ist vielleicht doch eher,
andere Aspekte hier benannt wird und auch diese Aspekte sind natürlich nicht immer völlig trennscharf oder werden gleichzeitig angesprochen und da ist es eben zeigte sich auch schon dass Menschen sozusagen vielleicht eine Übereinstimmung von sagen wir,
80 90 % erreichen können ja und das ist dann sozusagen auch in etwa das Level dass die Maschine wieder reproduzieren kann da wir haben auch oder wirklich also.
Man kann die mit einem Menschen vergleichen Wahnsinn.
Doch doch also das ist tatsächlich ganz erstaunlich was an Entwicklungen in den letzten Jahren im natural language processing stattgefunden hat dass wir.
Fuzzy Modelle haben die eben so viel von.
Sprache wissen so viel Wissen statistisches und linguistisches wissen über Sprache in sich tragen das Leben,
tatsächlich erwärmt so menschliche codier Leistung damit sehr gut erreicht passiert aber jetzt mit Ironie oder mit Dialekten oder sowas.
Kommt das ist damit klar.
Das ist tatsächlich in gewisser Hinsicht eine Schwierigkeit für solche Modelle also wir hatten das in einem anderen Projekt stärker gesehen bei dem wir uns mit Hut und Gegenrede in sozialen Netzwerken beschäftigt haben und da ging vom zugucken,
ja in welchem Bezug auf welche Themen werden bestimmte Hassrede Kommentare mit welchen Gegenrede Kommentaren da notiert und dazu mussten wir natürlich auch erst mal automatisch rausfinden was ist denn Hassrede Kommentar assistant Gegenrede Kommentar dass das Vorgehen ganz ähnlich dass wir das auch eben
anhand von manuell codierten Trainingsdaten,
ein machine learning Modell trainiert haben und das dann auch viele hunderttausend Kommentare auf Facebook angewendet haben.
Und hier zeigte sich dann tatsächlich dass die meisten Fehler die gemacht werden,
in einer falschen Zuordnung liegen die mit Ironie oder Sarkasmus zusammenhängend ja weil z.b.
Eigentlich Gegenrede kommentierende Hassrede Position in sarkastischer Weise gewendet in ihrem Kommentar z.b. aufgegriffen haben und es ist für lesende die den Hintergrund kennen dann relativ schnell klar dass es hierbei um Sarkasmus handelt.
Aber für die Maschine die diesen
Gesamtkontext der Debatte nicht so gut kennt sich das an der Oberfläche doch erstmal sehr ähnlich aus wie ein Hassrede Kommentar und dem kann man jetzt ledig.
Begegnen indem man auch spezifisch für diese Aufgabe z.b. für Ironie oder Sarkasmus Erkennung wieder neue Modelle trainieren würde wo man.
Eben tatsächlich mehrere hundert Kommentare z.b. zeigen würde bei denen wieder
Codierer aufgezeichnet haben ob es sich hierbei jetzt um einen ironischen und sarkastischen Kommentar handelt oder ob dieser Kommentar im sachlich und ernst gemeint ist und das ist natürlich.
Auch teilweise wirklich nur mit spezifischen Kontext ist ein erkennen weil manchmal sogar erst wenn man weiß wer ist der Autor eines bestimmten Kommentars weil die Textoberfläche
ohne diese Kontextinformationen dafür selbst gar nicht hergibt aber für die Kommentare wo das aus der Text Oberfläche selbst heraus.
Mit zu interpretieren ist eigentlich ohne dieses spezielle Kontextwissen kann die Maschine das wieder auch in ausreichender Güte lernen um das am Ende zu unterscheiden und je nach Themengebiet spielt das eine mehr oder weniger große Rolle bei diesen Hass und Gegenrede Analysen.
Hat das natürlich ein stärkeres Gewicht ja so weil in diesem der polarisierten Vormieter der Button ist Ironie ein häufig verwendetes Mittel und Sarkasmus kommt er sehr viel vor den anderen
Zusammenhänge ich dir das kaum noch olle und stört deswegen der Analyse auch nicht so stark ein ganz einfaches Beispiel wo man das vielleicht noch mal.
Vergegenwärtigen kann wer auf sowas i Negation ne also Mann hatte lange Probleme
die Verneinung von der Aussage korrekt zu modellieren und das dreht natürlich z.b. mit Kaufargument Analysen de Pro contra Position total um mehr und man jetzt sagt irgendwie ich bin für die Einführung von Atomenergie Rechte nicht für die Einführung von Atomenergie und dir explizite Modellierung von Negation.
Die er ist eben gar nicht so trivial und wenn man sie dann vornimmt verbessern sich aber in aller Regel bestimmte
qualitätsmetriken die jetzt z.b. die Genauigkeit der Zuordnung von pro-contra Position betreffen gar nicht so stark ja also weil die sind Negation.
Am Ende die korrekt zu machen wir haben verbessert so zeigen die Genauigkeit dann irgendwas zwischen 2 und 4% oder so irgendwie und man könnte jetzt sagen wenn man viele 10.000 Zeitungsartikel untersucht über Langzeitverlauf dann ist mit dieser.
Fehler Verbesserung von zwei bis 4% gar nicht so wichtig und für so eine quantitative Inhaltsanalyse wo ich große trennen sind in Daten sehen will brauche ich das vielleicht in dieser Genauigkeit gar nicht
aber wie gesagt dieses Problem der Negation ist auch mittlerweile eben durch diese neuen neuronalen netzmodelle die wir verwenden weitgehend mit abgedeckt also die sind hatte ich in der Lage solche Indikationen zuverlässig
verkennen und dann die Entscheidung richtiger zu treffen.
Du beschäftigst dich ja wirklich viel mit Sprache einfach ja würdest du sagen das Teil deiner Arbeit auch sprachwissenschaftlich ist definitiv ja also die,
das ganze fällt das natural language processing dass er hat ja auch groß Überlappungen zur Computerlinguistik also da würden jetzt in Spezial Diskursen zwei Leute natürlich irgendwie immer einen Unterschied sehen ob man jetzt irgendwie Computerlinguistik macht also ein Exitus sprachwissenschaftliches Interesse
hat uns Spracheigenschaften untersucht oder ob Sprache jetzt nur das Mittel ist mit dem man eigentlich andere Dinge untersucht
aber wenn man diese Feinheiten mal beiseite lässt dann gibt's da eben ganz ganz große Überlappungen und das fällt der Computerlinguistik ist tatsächlich ein das so.
Vielleicht als Vorläufer von diesen ganzen Entwicklungen mit computational social science tutitu humanities und so weiter mit am ehesten begonnen hat quasi in der Linguistik die eigenen Methoden und Vorgehensweisen
zu digitalisieren und mit großem Textmengen zu arbeiten also da ist in den 80er 90er Jahren mit gestartet worden dass man gesehen hat
das was Linguisten Linguisten händisch in viel Kleinarbeit machen.
Dass das teilweise viel effektiver und ja mit viel mehr Daten eben in digitalen Welten geht und.
Damit ist ganz ganz viel neues Wissen erschlossen worden auch für die Untersuchung von Sprache einer Seite aber eben dann auch um dem Computer Sprachverstehen beizubringen.
Noch mal zurück zum Argument mining wenn wir das jetzt einem konkreten Beispiel vielleicht erklären ihr habt eine große Datenmenge eine große Textmenge
gemeint aber nach Argumenten durchsucht was macht man denn am Ende mit den Daten die der Computer für euch rausgesucht hat.
Ja das muss man am Ende wieder ein Mensch wahrscheinlich analysieren oder now das ist sozusagen dann ein großer Datensatz z.b. der da entsteht der dann wieder in irgendeiner Form quantitativ und qualitativ ausgewertet werden kann also für das Atomenergie Beispiel noch mal haben wir eben,
am Ende sagen wir aus diesen ganzen 20 Jahren irgendwas zwischen 5 und 7000 Zeitungsartikeln die sich mit dem Thema beschäftigt haben im Guardian und in diesen Zeitungsartikel haben wir.
90000 Sätze drin stehen und von diesen 90000 Sätzen sind.
Irgendwas zwischen 10 und 15 000 als irgendwie argumentativ identifiziert worden und jetzt können wir im Zeitverlauf z.b. gucken.
Ja in der quantitativen Auswertung wie verteilen sich dann Pro und Contra Argumente in dieser gesamten Debatte in bezug auf Atomenergie.
Aber eben auch in Bezug auf die einzelnen Aspekte und da ist es tatsächlich ganz spannend wenn wir jetzt da eben so eine Art.
Kuss analytischen Blick drauf nehmen wo wir gucken ja mit welchen Argumenten wird dann im Diskurs gearbeitet und wo.
Verschiebt sich dann sozusagen so eine gesellschaftliche Gesamtposition vielleicht hin dass man da sehen kann.
Das Örtliche z.b. dieses Kostenargument in bezug auf Atomenergie über den ganzen Zeitraum stabil so eine kontraposition abbildet das aber dieser Umweltschutz Aspekt eben tatsächlich von so einer kontraposition in den letzten Jahren,
schrittweise in so einer Propositionen in Bezug auf die Atomenergie wechselt
weil hier ganz klar so Effekte aus der climate change Debatte eine Rolle spielen in dem Sinne als dass Atomenergie als eben emissionsfrei dargestellt wird als ja für den Klimawandel sagen eine um den Klimawandel aufzuhalten eine bevorzugte Technologie.
Sei.
Und dass er spielt in der britischen Debatte offensichtliche noch stärker ne Rolle als bei uns das hier so sein dann auch insgesamt z.b. so eine Verschiebung von ja Pro und Contra Argumenten in Richtung der Befürwortung von Atomenergie über den Langzeitverlauf.
Dann auch eindeutig feststellbar sind das kann man eben mit solchen AG mit meinem Verfahren sehr gut zeigen auch mit welchen Argumenten passiert das und ja,
90000 hast du gerade gesagt habt ihr habt ihr das könnte ja eigentlich.
Man mit dem Team Anja Forschern gar nicht so wuppen oder,
also 90000 Stunden tatsächlich sehr schwer das wenn man das jetzt händisch machen wollte genau also bei mir im Projekt arbeitet jetzt hatte ich einen.
Dr Anton der Sache und zwei Hilfskräfte die die Codierungen vornehmen.
Und die haben das jetzt für die Atomenergie Debatte im Zeitraum von ca 6 Monaten
hinbekommen sozusagen diese Trainingsdaten dafür zu erstellen und dann die Klassifikation eben auf diesen Daten vorzunehmen und das ist jetzt sozusagen der Anlauf gewesen des für die Atomenergie Debatte zu machen gleichzeitig machen wir das jetzt für
die Mindestlohndebatte und als drittes Thema haben wir uns noch die Legalisierung von Marihuana vorgenommen
und die laufen gerade jetzt da er gerade jetzt diese drei Debatten die wir uns näher anschauen wollen und,
da rechnen wir jetzt dann auch mit einer Halbierung z.b. der Bearbeitungszeit protema also.
Da kommen wir dann am Ende eben auch auf vielleicht läuft die 3 Monate die wir für so ein Thema zur Bearbeitung brauchen und je nachdem wie
gut wir das am Ende sozusagen systematisieren können dieses Vorgehen und die Tools die wir dafür entwickeln auch noch ja so aufbereiten können dass die durch andere nutzbar werden,
es hat das Ziel dass solche Analysen natürlich nicht nur durch uns im Team vorgenommen werden können sondern dass daraus eine reproduzierbare Methode entsteht.
In den Kommunikationswissenschaften 2 von anderen Teams dann leicht auch angewendet werden kann auf bestimmte Debatten die.
Die Leute interessant finden sie macht das dann zugänglich für andere Interessierte die damit arbeiten wollen es tun.
Und ihr sucht es indem in den Projekten die du gerade erwähnt hast Mindestlohn und Legalisierung von Marihuana da untersucht die Zeitungsartikel oder also online
Adverb wollen 2. Chemie der
drei Quellen eigentlich Zeitungsartikel sind im Moment immer ganz dankbar insofern als dass wir da zum Teil zumindest irgendwie relativ einfach Zugriff drauf haben da gibt es ein paar offene Korpora die man verwenden kann die eben auch große Zeiträume abdecken.
Was eben ganz spannende für diese Längsschnittanalysen und man sich da eben die Verläufe von Debatten im Zeitverlauf der gut angucken kann so schon wieder ist ein Stück weit.
Schwieriger manchmal weil die Debatten viel schneller sind viel für kurzlebiger für für Fluide und die Datenerhebung da auch teilweise
schwieriger sein kann also im Fall von Twitter Daten es ist
relativ leicht da kommen wir über die API ist natürlich auch sehr gut an Daten ran aber wenn wir jetzt Facebook oder andere social networks uns näher angucken würden dann haben wir schon Schwierigkeiten da und wir ähm thematisch.
Eingeführte Korpora so gut raus zu filtern setz nicht unmöglich steht auf unserer Agenda haben wir bisher aber noch nicht so gut gemacht.
Genau aber das ist tatsächlich auch das Ziel dass wir das Ganze eben so ein Stück weit weg kommen von Zeitungs Daten und auch auf so schön wieder Debatten übertragen kann weil da findet natürlich ganz viel.
Gesellschaftliche Willensbildung Stadt und politische Willensbildung statt in diesen Tagen und das spannende da ist auch.
Das ja hier die Debatten so ein Stück weit abseits der klassischen Gatekeeper geführt werden wo Themen aufkommen die,
eben sonst in den großen lassen wir den nicht so stark debattiert werden aber die offensichtlich für Teile der Bevölkerung sehr sehr große Relevanz entfalten.
Da eben auch mit solchen computergestützten mit Hoden dann relativ schnell draufklicken zu können und zu sagen zu können okay die Button Debatte verläuft so und so und die Meinungsfindung findet soundso statt das ist natürlich hochgradig spannend.
Ich möchte noch so ein bisschen in die Zukunft blicken meinst du dass man in Zukunft Inhaltsanalysen nur mehr so machen wird.
Oder dass es Situationen gibt oder Fälle wo man.
Nicht verdichten kann auf das menschliche Auge und das menschliche Gehirn aus einem Text Zugang man kann grundsätzlich nicht auf das menschliche Auge und Gehirn dabei verzichten weil das was der Computer ausspuckt.
Bedarf auf jeden Fall in der qualitativen Validierung also es kann so viel schief gehen auf diesem Prozess wird sein in dieser automatischen Modellierungen dieser Prozesse können also einen,
n
eine Fehlerquelle sind so sogenannte buries correlations z.b. die auch in Sprache auftreten wo er in machine learning Modell halt eben scheinbar korrekt ne Kategorie lernt aber eigentlich irgendwie sich auf bestimmte,
Porto oder bestimmte Muster im Text Foto fokussiert haben die halt
eben zufällig in diesen Texten so aufgetreten sind oder in der Auswahl der Texte die man zum Training benutzt hat,
also jetzt nicht aus meinem konkreten arbeiten aber ein schönes Beispiel ist z.b. die Klassifikation von
covid nicht covid auf Röntgenaufnahmen von Lungen gewesen da ganzen schönen Fall der vor zwei Jahren einem Jahr publiziert wurde ein großes datens etwas in machine learning Bereich veröffentlicht wurde was.
Röntgenaufnahmen eben unterteilt hatte nach covid Patient nicht gucken Patienten und eben dann die Maschine lernen sollte anhand dieser Aufnahmen diese Unterscheidung zutreffen für die medizinische Diagnostik unglaublich nützlich und sinnvoll.
Was in diesem Datensatz falsch gemacht wurde war das die.
Daten von unterschiedlichen Krankenhäusern gesammelt wurden regionalen Krankenhäusern und zentralen großen Krankenhäusern.
Bei uns die in diesem Röntgenaufnahmen noch teilweise Dateinamen Beschriftung unten im Bild mit drin hatten also da war dann.
Einfach der Dateiname mit einem bestimmten Muster und teilweise auch mit unterschiedlichen Schriftarten sozusagen auf diesen unterschiedlichen Krankenhäusern repräsentiert.
Und was man am Ende rausgefunden hat ist dass die Modelle die sehr gut auf einmal scheinbar funktioniert hatten um covid nicht covid vorherzusagen,
eigentlich sich darauf konzentriert hatten zu unterscheiden welche Schriftart wurde jetzt in dieser Dateinamen verwendet der dann noch mit drauf ist auf dem Bild her und tatsächlich das wiederum korrelierte mit der auf welchem Krankenhaus kommen diese Aufnahmen.
Und dann hatten natürlich alle in diesem zentral Krankenhäusern die schweren covid Fälle.
Und in den regionalen Krankenhäusern waren jetzt nicht so hohe covid Fallzahlen und das war letztendlich die Korrelation die Teemaschine gelernt hat.
Conceria so dass also dass das rausgefunden wurde war das Datenfeld natürlich aber trotzdem schon sozusagen und wie in der ganzen Community irgendwie zigfach eingesetzt worden irgendwie und zum Testen benutzt worden und man hat ein Kraut gefunden die das ist.
Wachswärmer also insofern man kommt nicht um eine qualitative Bewertung der Sachen drumrum die sich dann immer im konkreten Einsatz zeigt na also wenn wir eine gewisse Güte von diesen automatischen Verfahren auf unseren Testdaten erreichen.
Dann heißt das noch nicht dass wenn wir die jetzt in the wild auf z.b. so schon wieder Daten loslassen dass das dann da auch.
Aber gut funktioniert sondern dann müssen wir uns definitiv angucken was macht die Maschine für Vorhersagen auf diesen Fall schon wieder Daten auf den wir sie eigentlich nicht trainiert hatten
und finden dann raus okay das funktioniert gut genug für unsere Zwecke oder eben nicht gut genug für unsere Zwecke insofern wird die
manuelle Begutachtung dieser Sachen keineswegs überflüssig sondern die gewinnt vielleicht sogar an Bedeutung insofern als dass wir.
Lebens Maschine kontrollieren müssen dass ihr alles richtig macht und gleichzeitig gewinnen wir aber auch Kapazitäten dafür und Ressourcen dafür dass wir halt eben eine spannendere Fragestellung beantworten können um 4 Uhr mehr Auswertung machen können und
und am Ende ist es auch so dass die Maschine natürlich immer nur also bestimmte.
Teilaspekte wahrnimmt Ja und eine tiefe qualitative Untersuchung und noch mal viel mehr Erkenntnisse liefern kann
aber die Maschine hilft uns eben auszusuchen welche Teile dieses riesengroßen Diskurses sollte ich mir am besten ansehen heißt eine Kombination aus beiden wird bleiben
genau also das ist eigentlich meine bevorzugte Arbeitsweise auch eine Kombination aus beiden Sichtweisen qualitativ quantitativ auf Text Daten beizubehalten und die Maschine dafür zu benutzen in diesem
musst aus ja Millionen und Milliarden von Text Items die wir zum Beispiel in soziale Medien Kommunikation haben die Sachen raus zu finden die für bestimmte Fragestellungen eben entscheidend und spannend sind,
gibt es ja auch durchaus Skepsis gegenüber so Automatisierungen oder künstlicher Intelligenz weil es ja auf der einen Seite auch ganz einfach.
Arbeitsplätze dadurch wegfallen wenn man dadurch durch so eine Auto System ganz viele Forscher ersetzen kann oder auf der anderen Seite.
Weil manche glauben dass dass das vielleicht gefährlich werden könnte und dann hätte Name Kind steht oder oder das künstliche Intelligenz einem ja ne Eigendynamik entwickelt sich Fehler einschleichen so wie du das jetzt mit diesem Beispiel der Lungenröntgen illustriert hast.
Und dass dadurch vielleicht Gefahren entstehen kannst du diese Skepsis nachvollziehen gegenüber diesen Instrumenten,
also teilweise dieser Idee das Zimmer spät dadurch Arbeitsplätze verloren gehen würden dem ist man also da fahre ich hin.
Das vor einigen Jahren häufiger immer mal gehört aber in letzter Zeit eigentlich nicht mehr also da ist eigentlich
die Beobachtung wie das auch in ganz vielen anderen Bereichen der Gesellschaft und der Arbeitswelt geschehen ist dass durch solche Automatisierung und digitalisierungsprozesse eigentlich sich Arbeit
hätte und Arbeit verlagert aber nicht vernichtet wird in aller Regel also
was wir weniger brauchen es jetzt irgendwie große Teams von Hilfskräften die riesengroße Textlängen codieren von Hand
sondern das lässt sich jetzt mit kleineren Teams erledigen
und gleichzeitig brauchen wir aber eben auch die Hilfskräfte die uns Trainingsdaten erstellen die daten validieren die Dinge programmieren,
und insofern verlagern sich eigentlich sozusagen da z.b. Arbeiten von eher langweiligen repetitiven Tätigkeiten wieso Codierung von Texten.
Hinzu mehr spannenden kreativen Tätigkeiten wie Programmierung und Interpretation Auswertung und das ist etwas was ich jetzt spontan sehr begrüßen würde ja dass man halt sich eben sehr für solche
kognitiv anspruchsvolleren Sachen mehr Zeit nehmen kann anstatt zu diese wiederholten Tätigkeiten zu machen die andere Frage ist oder wurde die andere ein gesprochener Sache mit der Gefahr durch den vermehrten Einsatz von Seuchen,
machine learning Modellen und ganz sicher tätigen die kann ich dann schon eher nachvollziehen weil das wie gesagt da so eine Art.
Manchmal so ineinander Evil Zukunft Hoffnung sozusagen darauf gibt irgendwie dass das diese künstliche Intelligenz Produkte,
jetzt irgendwie bestimmte Dinge lösen würden die jetzt mal später als Probleme in einer Organisation auftreten oder in einer Gesellschaft auftreten und da muss man sich dadurch immer ganz genau angucken wie wird sowas eingesetzt also n
klassisches Beispiel wäre natürlich sowas wie
automatische Hassrede Erkennung wie wir das in unserem anderen Projekt was ich erwähnt hatte gemacht haben ja das ist natürlich einen Weg mit dem große soziale Netzwerkbetreiber
versuchen hat Red auf ihren eigenen Netzwerken irgendwie in den Griff zu bekommen indem die auch solche Modelle erstellen interne neben Postings bewerten und dann
aber ganz schnell eben natürlich so eine.
Erstelle überschreiten können zu Zensur wo eben Meinungsfreiheit beschritten wird und ob das jetzt in der Maschinen Entscheidung immer gerechtfertigt ist ja oder nein.
Je nachdem welche Jagd nationalen Gesetze hier auch gelten ist natürlich eine große Frage und da ist eben auch die Gefahr von overblocking gegeben was teilweise ja.
Einzelfällen auch schon gezeigt wurde dass das passiert.
Andere Beeinflussungen sind eben nur bestimmte Themen die identifiziert werden die geblockt werden also das ist etwas was Sie möchten.
Tiktok als sozialen Netzwerk zuletzt aufgefallen ist das da.
Sie möchten nach Schlüsselwörtern Kommentare gelöscht werden oder aber auch dass bestimmte Themen die identifiziert werden wir z.b. Homosexualität was und wie du es angesprochen wird einfach vom empfehlungs Algorithmus runter geregelt wird.
So dass diese Themen gar nicht erst auf der Plattform große Popularität erlangen können.
Und das ist etwas was also wo soll diese Steuerung durch einen Rhythmen und durch künstliche Intelligenz natürlich in Einfluss auf Gesellschaft hat den man nicht unterschätzen sollte.
Weil auch gerade bei diesem Beispiel mit der Aufmerksamkeitslenkung sowas zurück wirkt auf die produzierenden von Inhalten also.
Leute die auf tiktok Videos produzieren und merken dass sie z.b. mit bestimmten Inhalten keine Reichweite erlangen und die diese Videos niemals groß geschaut werden die werden sich überlegen dass sie diese Themen nicht weiter adressieren und da
besteht natürlich für diese algorithmische Steuerung und für die Plattform die die Steuerung der Einsetzen der Große.
Macht und auch Potenzial für Machtmissbrauch also da würde ich schon sagen dass es auch einen großen Bedarf an Regulierungen gibt der auch hier am Institut immer erforscht wird und versucht wird immer das Recht ich bekunden kann.
Ich habe jetzt noch zwei abschlussfragen die erste wäre meinst du.
Als Medienforscher oder sagen wir allgemeiner als Sozialforschung vielleicht wird man nicht umhin kommen.
Sich mit solchen Instrumenten auseinanderzusetzen mit solchen Instrumenten zu arbeiten wie sie soll ich sagen also müssen alle
Forscher in Planung 10 Jahren programmieren können um Sozialforschung zugespitzt genau ich glaube nicht dass das alle können müssen aber es müssen mehr Leute können also ich hatte ja schon angesprochen dass ich den Bedarf für,
bei der Arbeitsweise nach wie vor sehr stark sehe das
genau das diese ganze computational social science Welt ist unglaublich im Wachstum begriffen es gibt ein hohes Interesse an der Auswertung von Social Media Inhalten weil einfach Sozialwissenschaftler in erkennen dass dass er eine immer.
Wichtigere Quelle von politischer Meinungsbildung wird von gesellschaftlichen Debatten wird und man sieht ja auch in.
Massenmedien werden ständig Themen aufgegriffen die erst in sozialen Medien groß geworden sind also hier gibt es in diesen Hybriden Mediensystem in den wir da mittlerweile Leben eben einen ganz starken bedarf.
Danach diese Sachen die dort vor sich gehen zu verstehen und besser zu verstehen und gleichzeitig ist es eben eine Welt die.
Teilweise durch die Plattform uns auch noch weitgehend verschlossen ist also ein Beispiel wo es z.b. großen Bedarf gibt es aber heute noch gar nicht gut viel Erkenntnis darüber gibt es Zimmertür wie diese ganze verschwörungstheoretische Mobilisierung im Rahmen der Corona Pandemie
sich über telegram organisiert hat.
Und wie dort die ganzen narrativer die völlig konträr zu den narrativen in den klassischen Massenmedien stehen.
Hör dort eine große Wirkungsmacht entfalten konnten so das sozusagen über Wochen und Monate viele tausend Menschen auf die Straße gegangen sind und teilweise hanebüchenen Unsinn glauben und dort auch wieder propagieren.
Und das ist etwas was tatsächlich natürlich die Gesellschaft im großen Maße betrifft und was wir verstehen müssen insofern glaube ich kommt die Sozialwissenschaft auf jeden Fall überhaupt nicht darum sich diesen Inhalten und diesen
daten anzunähern und viel stärker hinzuschauen was dort passiert und wie das die Gesellschaft beeinflusst.
Auf der anderen Seite brauchen wir natürlich aber auch die klassischen qualitativen Methoden um sozusagen das alles nicht nur auf irgendwelche
quantitativen Zahlen zu reduzieren sondern immer wieder zu prüfen wie sinnvoll ist das was wir da machen und wir geraten und Dinge aus dem Blick die hier eigentlich passieren die wir in unseren quantitativen Kategorien gar nicht erfasst haben bislang und
wo entstehen auch Dinge neue die vielleicht statistische Verfahren gar nicht.
Entdecken können weil sie noch zu klein sind im großen Rauschen der verschiedenen Signale die überall eingesammelt werden aber die man vielleicht in der qualitativen Betrachtung schon irgendwie sehen kann in einzelnen Fällen.
Gut letzte Frage wenn wir zehn Jahre in die Zukunft blicken was meinst du kann das Tool mit dem du jetzt arbeitest dann schon.
Das auch eine sehr gute Frage ich hätte nicht
vor 10 Jahren nicht gewagt zu glauben dass das was wir heute können möglich ist insofern glaube ich auch kann ich hier verstehen kommenden zehn Jahre keine wirkliche Prognose abgeben außer dass ich mir vorstellen kann dass das wann.
Auch überrascht sein wird vielleicht sozusagen der Retrospektive die Entwicklungen im Bereich künstliche Intelligenz Sprachverstehen sind sehr.
Wir haben sehr grosse Sprünge gemacht einfach in den letzten Jahren also mit der Einführung von diesem Transformer Modellen die kurz angesprochen auf die wir auch benutzen in unserem Projekt.
Haben wir heute eine Modellierung von
Sprache und Sprachwissen erreicht das vor trainiert werden kann auf Millionen und Milliarden von beliebigen Dokumenten und setzen und wir können deine z.b. auch.
Sprachübergreifend Modelle trainieren also das geht soweit dass man z.b. diese.
Inhaltsanalyse Kategorien die wir jetzt in den Modellen für eine Sprache trainieren.
Theoretisch dann einfach mit Texten auseinander Sprache befördern kann und diese Texte auch weitgehend zuverlässig klassifiziert werden können obwohl halt in dieser Zielsprache.
Keine Daten gezeigt worden und das ist ja absolut faszinierend dass das heutzutage geht und.
Da kann ich mir schon vorstellen dass in zehn Jahren Technologien existieren die.
Zumindest menschliche Intelligenz sehr gut nachahmen können ja auch wenn da sozusagen wahrscheinlich noch nicht unbedingt ein wirklicher Moment von Kreativität und eigenem Bewusstsein in der künstlichen Intelligenz steckt kann es doch so sein dass z.b. texte generiert werden bei denen wir
eben nicht mehr gut auseinanderhalten können ob das eine Maschine gemacht hat oder nicht und wenn wir.
Bestimmte Parameter der einfüttern welche Punkte in so einem automatisch generierten Text adressiert sein müssen dann kann der wahrscheinlich auch so gut sein dass der inhaltlich
konsistent und ist und Sinn macht er und da wird sich viel in der Art und Weise wie in der Gesellschaft Text produziert wird vielleicht dann entsprechend verändern,
wir sind gespannt was da noch kommt
vielen Dank Gregor dass du einen kleinen Einblick gegeben hast in deiner Arbeit ja das war der Bredow Kaarst wir danken fürs zuhören falls wir euch interessiert für unsere Themen oder für dieses Projekt im Speziellen dann besuch doch die webseite www.leibnitz.at - hpi.de oder folgt uns auf Twitter
App Bredow Institut alles unten verlinkt in den Shownotes.
Das war's hast du noch was zu sagen was wichtig ist mich auf jeden Fall für die Möglichkeit hier das auch ein bisschen vorstellen zu können und ja das ist eine spannende Entwicklungen die wir da entweder vielen Dank und tschüss.
Music.