Äh, nun ja, heute werden wir über den Clever-Hans-Effekt sprechen. Okay, wer ist denn nun dieser Hans? Ich weiß nicht, ob man „who“ für ein Tier verwenden kann . Clever Hans war also ein Pferd, das Ende der 1890er Jahre in Deutschland geboren wurde. Das ist unser heutiger Schlaumeier Hans. Er war ein außergewöhnliches Pferd. Er konnte Mathematik und andere Arten von Fragen beantworten. Er würde also öffentlich ausgestellt werden und jemand würde ihn fragen: „Was ist 3 + 3, Hans?“ Und dann würden sie anfangen zu zählen, denn Pferde können ja offensichtlich nicht sprechen. Geh 1 2 3 4 5 und das Pferd wiehert, stampft mit den Hufen, Ja. und es wären sechs. Toll. Und er konnte auch andere Arten von Problemen lösen, nicht nur mathematische. Der sogenannte „Clever-Hans- Effekt“ ist also etwas, das wir insbesondere im Bereich der KI beobachten . Hat Hans Mathematik betrieben? Fraglich. Nun ja, das ist tatsächlich noch immer umstritten. Okay. Äh, und wir werden es nie erfahren, weil Hans im Ersten Weltkrieg starb und wahrscheinlich gegessen wurde. Armer Hans. Aber ein bestimmter deutscher Psychologe meinte, Hans würde keine Mathematik betreiben. In Ordnung . Er beobachtete die Körpersprache. Hans war also clever, aber er zählte nicht. Okay. Der Fragesteller, also unser Fragesteller, würde fragen: „Was ist 3 + 3?“ Und wenn die richtige Antwort in greifbare Nähe rückte, gab es ein unwillkürliches Signal dafür, dass Hans gelernt hatte. Rechts. Also, äh, Hans würde dann „ooh“ sagen, fast wie eine Pawlowsche Reaktion, aber etwas differenzierter, weil es mehr Arten von Auslösern gab. Äh, und ein Modell, ein KI-Modell, könnte genau dasselbe tun. Also, lasst uns über den Clever-Hans- Effekt in der Musik sprechen. Also, ich glaube vor etwa 12 Jahren gab es eine Arbeit von einem Mann namens Bob Sturm, und er sagte, dass Musikklassifizierungsmodelle eigentlich alle Pferde sind, sie sind einfach nur Schlaumeier. Und ich kann beweisen, dass dies der Fall ist, denn er hat einfach Klassifikatoren und Musikstücke genommen und dann Equalizer-Filter und Verzögerungen angewendet, und das hat die Klassifizierung verändert. Man hatte also Rockmusik, fügte etwas Delay hinzu, und plötzlich sagt das Modell, es sei Reggae. Aber er weiß nicht, warum das passiert ist. Wir werden uns heute also ansehen, warum das passiert. Wenn Sie nun eine Frage stellen möchten, eine Warum-Frage in der Informatik oder ganz allgemein, benötigen Sie wahrscheinlich Kausalität. Was genau in der Musik hat das Modell dazu veranlasst, zu sagen, es handele sich um Rock oder um Reggae? Ich hoffe, es ist allgemein bekannt, dass Audio als Welle dargestellt werden kann. Das könnte, ich weiß nicht, so ähnlich aussehen. Okay, wir haben also unser Signal, und das ist die Zeit entlang dieser Achse, und das ist die Amplitude, die wir als Lautstärke bezeichnen können. Ich werde da nicht so pingelig sein. Und nun kommt der große Sprung. Es gibt also etwas, das man Fourier- Transformation nennt. Es gibt wahrscheinlich schon unzählige Videodateien dazu. Vielleicht. Oder Computerdatei. Das sollte so sein. Ich werde heute nicht näher darauf eingehen, da es mathematisch ziemlich kompliziert ist, aber im Wesentlichen lässt sich dieses Signal in eine Vielzahl unterschiedlicher Sinussignale zerlegen, jedes mit einer anderen Frequenz. Es könnte also etwa so aussehen. Sie haben einen wie diesen, und Sie können einen wie diesen haben, und dann haben Sie vielleicht noch einen wie diesen. Und wenn man sie alle zusammenrechnet, erhält man das. Wir wollen die Hypothese testen, dass unser Modell keine musikalischen Informationen nutzt, sondern etwas anderes tut, eine Art Abkürzungslernen. Eine Möglichkeit, dies zu tun – es ist nicht die einzige –, die ich angewendet habe, besteht darin zu sagen: „Nun, lasst uns dieses Signal in all seine verschiedenen Frequenzkomponenten zerlegen.“ Das Ergebnis ist etwas, das üblicherweise als FFT bezeichnet wird, die schnelle Fourier-Transformation. Und es könnte so aussehen. Auf der x-Achse haben wir also die Frequenzen. Und hier haben wir die Amplitude. Und Sie erhalten etwas, das aussieht wie ein Histogramm davon. Ja , genau. Histogramm der Um. Es ist nicht ganz ein Histogramm, aber nah genug dran . Uh der im Signal vorhandenen Frequenzen. Und dann können wir uns die Frage stellen: Welche Frequenzen werden benötigt? Welche Mindestinformationen kann ich dem Modell übergeben, um anzunehmen, dass dies als „Blues“ klassifiziert wurde? Mhm. Benötige ich all diese Informationen, damit es sich um den Blues handelt? Ich meine, vielleicht tue ich es ja, aber wir wissen es nicht. Wie werden wir das also herausfinden? Ich könnte jede einzelne Frequenzkombination testen. Das ist Wahnsinn. In einem 30-sekündigen Audioausschnitt, wie er von unseren Klassifikatoren verwendet wird, gibt es diese sogenannten Frequenzbänder etwa 240.000 davon. Das kann ich also nicht im Kopf machen. Äh, das ist eine große Zahl, wenn wir alle möglichen Kombinationen betrachten. Das werden wir also nicht tun . Wir werden sozusagen einen Divide-and-Conquer- Algorithmus anwenden, zu dem Sie ja bereits ein Video gesehen haben. Hannah Chocoler sprach darüber, ich glaube, es hieß damals Deep Cover. Es heißt jetzt Rex. Schau es nach. Äh, also, wir werden eine ähnliche Technik anwenden. Und wir werden das Ganze nun nach dem Zufallsprinzip in Stücke aufteilen. Und [schnaubt] also, jetzt haben wir 0, 1, 2 und 3. Und wir können uns die Kombinationen davon ziemlich einfach ansehen. Wir schauen uns also die Kombinationen an und sagen, dass für die blauen Zahlen 0 und 2 benötigt wurden. Okay, gut. Dann können wir das Gleiche noch einmal machen . So, jetzt werden wir das los. Auf Wiedersehen. Und wir können diese weiter unterteilen und immer weiter suchen, immer weiter suchen, immer weiter suchen. Das heißt jetzt 0 1 2 3, bis sich schließlich herausstellt, dass wir für den Klassifikator vielleicht nur dies und dies benötigten . Sich darüber zu freuen, dass das der Blues ist. Das genügt. Um den Klassifizierungsblues zu bekommen. Das nennen wir also ein ausreichendes Signal. Ich spiele dir später noch ein paar vor, damit du entscheiden kannst, ob sie dir genügen oder nicht. Das ist also ein ausreichendes Signal. Davon bekommt man wieder einen Blues. Ähm, aber das ist nicht notwendig. Was meine ich damit ? Das bedeutet, wenn ich diese Frequenzen entferne, mal sehen, ob ich das dann ungefähr gleich neu zeichnen kann. Das ist also der Blues, und da sind wir uns einig. Ich hoffe. Dass dies und das. Reichen für den Blues. Was aber, wenn ich diese einfach entferne und alles andere unverändert lasse? Das könnte immer noch der Blues sein. Es kann mehr als einen Grund geben. Warum das Model glaubt, es sei traurig. Und ich halte das für absolut angemessen. Wir können also auch das berechnen, was wir eine vollständige Erklärung nennen. Also komplett. Das bedeutet, dass es ausreichend ist. Für sich genommen ist es also der Blues. Und wenn ich es entferne. Indem man diese Frequenzwerte einfach auf Null setzt. Es ist nicht mehr der Blues. Wir können also buchstäblich den Blues aus dem Audio extrahieren. Aber ich meine, für unsere menschlichen Ohren klingt es doch irgendwie immer noch nach Blues, oder? Nun, das ist. Äh. Weil wir vor ein paar Jahren ein Video über Bildklassifikatorbrände gemacht haben, in dem es darum ging, etwas Rauschen hinzuzufügen und, keine Ahnung, einen Tacker in einen Laptop zu verwandeln. Kurz gesagt, um Ihre Frage zu beantworten. Ausgezeichnete Frage. Ja. Äh, im Grunde genommen zeigt es nur auf, dass diese Modelle es nicht sind. Das sind Pferde. Das ist ein cleverer Hans. Ähm, sie tun nicht das, was wir erwarten würden. Wenn ich Sie also fragen darf. Äh. Ich werde meine Gitarre aufklappen. Wenn ich Sie also fragen würde. Was der Blues ist. Ich meine, ich werde so etwas wie einen 12-taktigen Blues spielen. Ganz einfacher 12-taktiger Blues. Woran erkennt man, dass es sich um Blues handelt? Was würdest du sagen? Ja . Ich glaube, das ist ein Muster, das ich schon einmal gehört habe. So würde ich es ausdrücken. Nun, genau das tut ein Model auch . Ja . Aber ich stelle mir vor, wie jemand auf der Treppe vor einem, wissen Sie, es weckt Assoziationen. Okay, du meinst also, dass es da so etwas wie eine emotionale Person gibt, deren Leben aus den Fugen geraten ist und dann ist auch noch ihr Hund gestorben und all diese Dinge. Nun ja , viel Blues ist auch ziemlich lüstern. Es könnte sein, dass ich dein Hintertür-Mann bin und eine Affäre mit deiner Frau anfangen werde. Oh ja . Ich bin es nicht. Ich weiß nicht, wo sie wohnt. [Gelächter] Wahrscheinlich geht es dabei eher um mehr als nur um das, nicht wahr? Ja, wahrscheinlich. Das ist also eine knifflige Frage, nicht wahr? Es gibt eigentlich keine wirklich einfache Antwort darauf, warum das der Blues ist. Wir sprechen über den Rhythmus. Wir sprechen über die Instrumentierung. Wir könnten über die harmonische Progression, die genaue Phrasierung sprechen. Tun das auch Models? Im Idealfall ja. Aber wahrscheinlich nicht. Aber wahrscheinlich nicht. Und um es vorwegzunehmen: Die Tatsache, dass wir das können, beweist, dass sie es nicht können. Denn es wäre, glaube ich, nicht möglich, davon einige Frequenzen abzuziehen und Sie davon zu überzeugen, dass ich Bach spiele. Okay, ja. Vielleicht könnte ich es, aber wahrscheinlich nicht. Wir haben also das Nötigste für den Blues. Wir haben das komplette Paket. Nur ein kleiner Exkurs, okay? Wenn man das auf einer Marimba spielen würde, würden die Leute dann immer noch denken, es sei Blues? Möglicherweise nicht, denn, wie bereits erwähnt, spielt die Klangfarbe bei solchen Dingen eine sehr wichtige Rolle. Wenn ich das also auf einem Saxophon oder einer Marimba spielen würde, wäre das eine interessante Wahl. Ich habe mich einfach für etwas völlig anderes entschieden, ja. Weißt du [Musik] was? Das wäre ein tolles Experiment. [Musik] Ich führe nicht viele Nutzerstudien durch. Ich weiß nicht, wie man sie einrichtet, aber ich denke, das wäre ein Experiment für eine Nutzerstudie. Wir haben also ein vollständiges Ergebnis, was bedeutet, dass es sowohl ausreichend als auch notwendig ist. Wenn ich es also wegnehme, erhalten wir eine neue Klassifizierung. Die Frage ist also: Wie sieht diese neue Klassifizierung aus? Wir nennen das also die Umkehrung, was kein besonders aufregender Name ist. Und das mag existieren oder auch nicht. Wenn die Modelle also tatsächlich das tun würden, was wir wollen, dann müsste das vollständige Signal ausreichend und notwendig sein . Es sollte keine Umkehrung geben. Es sollte nicht möglich sein, die Klassifizierung durch einfaches Subtrahieren einiger Häufigkeiten zu ändern. Ähm , ich habe jetzt ein Beispiel, das wir uns anhören können. Um es gleich vorwegzunehmen: Ich habe ein extremes Beispiel gewählt [Gelächter], damit Sie den Unterschied wirklich hören können . Ähm, also , hören wir mal rein. Okay, also was wir hier haben, ist äh ein Beispiel, das ich vorab aufgenommen habe. Ich wollte es eigentlich live machen, aber, na ja, die Nerven haben mich im Stich gelassen . Also, äh, das ist mein 11-jähriger Sohn am Schlagzeug. Hallo William. Ähm, also, es ist ein ganz normaler Blues. Ich denke, wir sind uns einig, dass es der Blues ist. Ich entschuldige mich für das miserable Gitarrensolo am Ende. Ich bin kein Bluesmusiker. Das klingt für mich bluesig. Es ist in Ordnung. Sie verstehen schon. Das ist also der Originalton. Denken Sie also daran, dass wir über ausreichende Signale gesprochen haben. Was ist die minimale Anzahl an Frequenzen, die ich an einen Klassifikator übergeben kann ? Ich werde Ihnen nicht sagen, welcher Klassifikator. Es ist öffentlich zugänglich, aber ich möchte sie nicht in Verlegenheit bringen, da es kein besonders guter Klassifikator ist. Wie viele Frequenzen muss ich mindestens übergeben, um die Klassifizierungsprobleme wieder zu lösen? Und das Schöne daran ist, dass wir es uns anhören können . So, es ist da. Das ist es. Vergleichen wir es mit dem Original. Im Großen und Ganzen kann man sehen, dass es an ähnlichen Stellen lautere Passagen gibt. Es folgt in etwa der gleichen Kontur, aber man kann sehen, dass es nicht dasselbe ist. Möchtest du es hören? Hören wir mal rein . [Musik] Der Blues. Nun, du hast es auf dem Bildschirm blau gemacht. Ich meine, das ist das Einzige, was daran blau ist . Ich wünschte, das wäre Absicht. Das war zufällig. Das ist also so eine Art „Ich weiß, wie sich das anhört“, das Geräusch, das manche dieser Elektroautos machen, wenn sie langsam fahren. [Gelächter] Ja, ich denke schon. Ja. Willst du mir damit sagen, dass sie während der Fahrt Bluesmusik spielen ? Ähm , das ist also entgegen aller vernünftigen Definitionen der Blues für dieses spezielle Modell. Ich habe also auch über hinreichend und notwendig gesprochen. Wir hoffen also, dass es diesmal etwas besser ist. Ausreichend kann also wirklich, wirklich, wirklich klein sein. Denken Sie daran, dass das Modell das immer noch als Blues einstufen würde, selbst wenn es nur das Geräusch wäre, das wir gerade gehört haben. Das ist der Blues. Das ist das absolute Minimum. Minimum, ja. Okay, jetzt stellen wir uns also die Frage: Was ist hinreichend und was notwendig? Idealerweise würden wir uns wohl wünschen, dass es sich besser anhört, dass es mehr nach Blues klingt. Wenn wir uns das eigentliche Signal ansehen, ist es ziemlich faszinierend. Denken Sie also daran, dass wir Frequenzen aus ganz unterschiedlichen Bereichen des Frequenzspektrums entfernen. Für dieses einfache Experiment habe ich sie einfach auf Null gesetzt. Sie müssen sie nicht unbedingt auf Null setzen. Du kannst tun, was du willst, aber null erscheint vernünftig. Es geht im Grunde darum, diese Frequenz abzuschalten. Wenn wir es uns also genauer ansehen , sieht es tatsächlich ein bisschen so aus, als wäre es mit einer Backsteinmauer umgeben. Ich weiß nicht, ob Ihnen dieser Begriff bekannt ist. Anfang der 2000er Jahre, vielleicht sogar noch früher, gab es in der Musik eine Periode, die ich als die Klangkriege oder die Lautstärkekriege bezeichnete. Und alle mussten einfach immer lauter und lauter werden. Die Vorgehensweise ist also, dass man die wirklich lauten Stellen leiser macht und dann die leiseren Stellen lauter. Ähm, und am Ende sieht es ungefähr so ​​aus , alles ist gleich laut. Wir können uns das also anhören. Also, merkt euch: Das hier ist der Blues an sich. Und wenn ich das hier entferne, ist es nicht mehr der Blues. Was mir geblieben ist, ist nicht der Blues. Hören wir uns das also an. Und wir sind gespannt auf Ihre Meinung. [Musik] Das ist vernünftig, nicht wahr? Interessant, dass der Bass fehlt. Ja . Und ein Großteil des Schlagzeugs fehlt. Tatsächlich hält es in Wirklichkeit mein fantastisches Gitarrenspiel fest. [Gelächter] Also, ganz offensichtlich ist mein Gitarrenspiel Blues, was kein Kompliment ist, denn das Model ist auch der Meinung, dass das Blues ist. Also, hmm, da bin ich mir nicht so sicher . Okay, die letzte Frage, die wir uns stellen können, ist: Wenn wir dies von dem subtrahieren, bleibt dann noch genügend Signal übrig, um es an den Klassifikator zu senden? In diesem Fall ja . Das tun wir nicht immer. In diesem Fall schon. Und wir können fragen: Was ist es? Also, versuchen wir das einfach mal alleine. [Musik] Wo ist der Bass? Da ist der Bass. Also, die Musik und die Gitarre treten viel weniger in den Vordergrund, dafür das Schlagzeug viel stärker. Das ist also nicht der Blues. Was ist das? Okay, nun, wie würde man es klassifizieren? Ja . Sie haben 10 Optionen. Ich kann mich nicht an alle zehn erinnern, aber ich nenne euch Hip- Hop, Rock, Heavy Metal, Reggae und Pop. Sie haben fünf Auswahlmöglichkeiten. Sowas kommt vor . Meine äh, meine schlauen Hände sagen: Rock. Deine geschickten Hände werden erschossen und zu Klebstoff verarbeitet, fürchte ich. Äh, das wird als Hip-Hop eingestuft. Okay. Ähm, und ich kenne mich mit Hip-Hop tatsächlich nicht gut genug aus, um beurteilen zu können, ob das angemessen ist. Man könnte zwar sagen, dass es als Beispiel im Hip-Hop- Kontext verwendet werden könnte, aber ich denke, die meisten Leute würden zustimmen, dass das allein noch kein Hip- Hop ist. Das Modell sagt aber, dass es so ist. Was bedeutet das alles also? Das bedeutet, dass Ihr Modell, zumindest dieses Modell, in geschickten Händen ist. Und leider ist es nicht einmal besonders clever, denn eigentlich lässt es sich sehr leicht täuschen. Äh, wir haben ein ausreichendes Signal empfangen, das aber überhaupt nicht nach Blues klingt. Ich glaube, selbst wenn man taub wäre, würde man sagen, das ist nicht der Blues. Ähm, aber das Modell sagt, dass es so ist. Und noch schlimmer: Wir können den Blues aus dem Audio extrahieren und haben am Ende etwas übrig, das sich für mein Ohr zumindest immer noch irgendwie nach Blues anhört. Es ist grenzwertig. Ähm, aber das Model sagt, es sei jetzt Hip-Hop. Es wird nicht nur behauptet, es sei Hip-Hop, sondern es wird auch ganz klar gesagt, dass es sich um Hip- Hop handelt. Jedes Modell liefert Ihnen also zusätzlich zur Klassifizierung auch etwas, das wir üblicherweise als Konfidenz bezeichnen. Ob es sich dabei tatsächlich um einen Konfidenzwert handelt oder nicht, ist fraglich. Ähm, aber diese spezielle Audioaufnahme hat eine ziemlich hohe Punktzahl. Das war also mit 83%iger Wahrscheinlichkeit Hip-Hop. Und zumindest in diesem Raum sind wir uns nicht einig . Und das kann man mit so ziemlich jedem Modell machen. Ich habe hier ein Beispiel ausgewählt, weil es ein ziemlich extremes Beispiel ist, bei dem ich denke, dass das hinreichende Mindestens nicht wirklich zur Debatte steht. Ähm, aber ich habe das bei vielen, vielen Modellen ausprobiert und es funktioniert immer. Sie hören die Musik also nicht auf eine Weise, die ein Mensch verstehen würde. Sie führen lediglich eine Frequenzanalyse durch. Und manchmal lernen sie das Falsche . Sie betreiben Schnelllernen. Sie hören sich das also an und sagen: „Okay, das war der Blues. Wir sind fertig.“ Und ich spiele Ihnen noch etwas vor, das Sie vielleicht interessant finden werden. Was wäre, wenn ich unzählige ausreichende Signale nähme, hunderte davon, alle für den Blues, und sie addieren würde und die Frage stellen würde: „Ist das der Blues?“ Nun , ich habe es getan. Und es ist der Blues. Und ich spiele es dir jetzt vor. Denken Sie also daran: Hier wurden 100 ausreichende Signale miteinander vermischt. [Musik] Und das wird als Blues bezeichnet. Klingt nach [Musik], nach etwas, das man im Mutterleib hören könnte, oder ja. Ja, das stimmt. Ich habe das jemand anderem vorgespielt und der meinte, es klänge, als ob man draußen vor einem Zelt auf einem Festival wäre. Und vermutlich steht er unter Drogen. Ich bin mir nicht ganz sicher. Aber, ähm, nicht auf irgendeinem Festival, das ich besucht habe. Aber ich nehme an, der springende Punkt ist, dass diese Modelle funktionieren. Ich meine, die Genauigkeit dieses Modells ist sehr gut. Aber es funktioniert nicht so, wie ein Mensch es sich wünscht. Oder zumindest nicht auf eine Weise, die ein Mensch versteht. Ich halte das für eine berechtigte Behauptung. Sterns erste Untersuchung dieses Phänomens im Bereich der Musik liegt also 14 Jahre zurück, und er sagte: „Sehen Sie, diese Modelle, die ich teste. Das sind Pferde. Die verstehen keine Musik.“ Jetzt sind 14 Jahre vergangen und es ist kein bisschen besser geworden. Im Gegenteil, es ist wahrscheinlich noch schlimmer. Sie arbeiteten mit Finanzdaten oder Wetterdaten oder etwas Ähnlichem. Die Schwankungen von Minute zu Minute oder Stunde zu Stunde sind möglicherweise nicht von Bedeutung. Was Sie eigentlich wollen, ist eine gleichmäßigere Kurve. Okay? Wie würden Sie das anstellen? Rate mal, wie das geht. Es ist ein Durchschnittswert, nicht wahr? Einfach den Durchschnitt berechnen.