Maschineller Sinn und Unsinn

00:00:00: Besser wissen, der Podcast von Golem.de.

00:00:05: Hallo und herzlich willkommen zu einer weiteren Ausgabe. Mein Name ist Martin Wolf und ich bin

00:00:09: Podcastbeauftragter von Golem.de und ich befinde mich in meinem Büro und bis eben gerade herrschte

00:00:16: hier ziemlich alarm, weil draußen, also was ich heute früh gedacht habe ist, dass es jetzt so weit

00:00:21: ist, eine Erdbebensimulationsanlage wurde direkt unter meinem Fenster errichtet, ist aber gar nicht so,

00:00:26: sondern da gibt es drei Bäume auf dem Hinterhof, weil wir befinden uns ja mitten in Berlin und die

00:00:32: werden entastet und die Äste werden in einen morselhauten Schredder geschmissen. Wenn also während

00:00:38: der Aufzeichnung dieses Podcasts im Hintergrund diese Geräusche zu hören sind, dann ist das das.

00:00:42: Und wir können es auch nicht ändern. Man kann da schlecht runtergehen mit den Leuten, die da im Baum

00:00:46: hängen, sagen jetzt hört man auf im Baum zu hängen. Aber vielleicht machen sie gerade Pause, weil

00:00:49: nämlich wir gerade arbeiten. Johannes Hilscher und Martin Böckmann sind mit mir im Büro. Meine

00:00:56: beiden Kollegen, die für das heutige Thema meiner Meinung nach und hoffentlich auch der Meinung der

00:01:01: Zuhörerschaft nach am besten geeignet sind. Das letzte Mal hatte ich ein State of the Union KI

00:01:05: Podcast mit Helmut Linde, der Data Scientist ist. Ihr seid jetzt keine Data Scientist. Martin,

00:01:11: was machst du bei Golanee? Ich bin der Hardware-Bau-Aufragte. Data Science ist also höchstens bei

00:01:17: dem Benchmark Ergebnissen rudimentär vorhanden. Johannes Hilscher, dein Data Scientist Story?

00:01:23: Ich bin auch kein Data Scientist, aber zumindest Informatiker und ich habe schon relativ früh

00:01:29: mit Grafikarten für wissenschaftliches Rechen gearbeitet. Das heißt, ich bin da zumindest etwas

00:01:37: drin. Okay, meine Kompetenz liegt darin, dass ich eure Notizen lesen kann. Damit das muss reichen

00:01:44: für heute. Und dass du die Sache über die wir reden, reden ja auch durchaus nutzt? In Teilen. Aber

00:01:50: ja, also ich habe es jetzt ein bisschen unter den Schäfen gestellt. Wir fangen mal damit an,

00:01:54: dass tatsächlich eines der Dinge, die ich im letzten Jahr mit Helmut besprochen habe,

00:02:00: auf den Markt gekommen ist, zumindest in den USA und weil ich da gerade war, also vor einer

00:02:05: Weile, konnte ich es auch ausprobieren. Sora von OpenAI. Großes Ding wurde mit viel Tantam angekündigt,

00:02:12: der generative Video, also der Videogenerator von OpenAI. Ich habe den ausprobiert und auch

00:02:20: andere Videogeneratoren. Diese Artikel verlinken wir in den Schonernuts wie auch so ziemlich alles

00:02:25: andere, was wir heute besprechen. Jedenfalls wenn ich es nicht vergesse und wenn ich doch was vergesse,

00:02:30: dann bitte beschwerden an Podcast@gulium.de. Ich habe die ausprobiert und ich muss sagen,

00:02:35: ich fand die alle nicht so doll, aber Sora fand ich jetzt besonders nicht so doll. Also das Ding

00:02:43: ist, dass als Sora gezeigt wurde, gab es noch nicht so viele andere von denen und daher wirkte

00:02:49: das sehr spektakulär, was sie gezeigt haben. In der Zeit, seit sie das gezeigt haben, bis es

00:02:55: dann rauskam, was in KI Hundejahren einfach ein Jahrzehnt war, also über ein halbes Jahr definitiv,

00:03:02: hat sich das alles so ein bisschen relativiert und die anderen Videogeneratoren erschienen mir

00:03:08: teilweise etwas besser, aber das ist auch schwer zu sagen, weil letztlich man schreibt was rein und

00:03:15: dann kommt irgendwas raus und das bei allen immer Verhandlungssache, was bei rauskommt. Das

00:03:19: einzige was ich versucht habe, wo ich versucht habe, eine Konsistenz zu erreichen war, ich packe

00:03:25: ein Bild von mir, wie ich auf einem Berg stehe, rein. Also dieses Bild gab es auch vorher nirgendwo,

00:03:30: das sind irgendwo geteilt oder so, das pack ich rein und tue eine Zeile dazu. Also die bedeutet,

00:03:35: die Zeile lautet ungefähr, sind Touristenführer und der erklärt so ein bisschen die Aussicht.

00:03:41: Und was der jeweilige Bildgenerator daraus oder KI Videogenerator daraus macht, das kann man

00:03:48: ja ein bisschen bewerten. Also in manchen von denen fliege ich einfach davon. Also es ist sehr hübsch

00:03:51: anzusehen. In manchen werde ich so ganz klein, mal werden die Hände verschwinden oder so und das

00:03:57: Problem bei Sora war dann, Sora hat das nicht zugelassen aus, wie ich finde nachvollziehbar

00:04:04: an Gründen, nämlich dass man nicht einfach Bilder von Leuten umgefragt da rein schmeißen kann und

00:04:09: die dann... Auf einmal kriegen sie einen Gewissen. Aber komm Martin, besser als ich fand das, ich muss

00:04:16: sagen, dass ich das einerseits natürlich in den Moment, als das passierte, ich saß da von dem

00:04:20: Rechner extra 1000 Kilometer weit gereist und da ich natürlich nicht nur dafür arbeite,

00:04:24: du weißt schon was ich meine, das ist ja ganz ein Aufwand, Betrieben und so weiter, extra noch

00:04:28: mein Account angelegt und so. Und dann denkst du, das einzige Moment, mit man jetzt rausfinden könnte,

00:04:32: wie gut es eigentlich ist, funktioniert nicht. Auf der anderen Seite, ja tatsächlich muss man sagen,

00:04:38: gut, dass sie das nicht machen. Also finde ich, ja. Aber ich finde das eine fundamentale Limitierung,

00:04:44: weil das bedeutet ja gerade, dass man es im privaten Umfeld nur sehr eingeschränkt nutzen kann.

00:04:48: Wenn man jetzt auch an Haushaltsgeräte denkt oder KI im direkten privaten Bereich, die sich dann

00:04:57: weigert, Dinge zu tun, weil Datenschutz ein Problem sein könnte oder weil, weiß ich nicht, der

00:05:04: Staubsaugerroboter fährt rum und sieht nackte Leute und darf das dann nicht verarbeiten oder so. Und

00:05:09: ist aber, naja, der muss halt seinen Weg finden und der muss das dann machen. Der soll das natürlich

00:05:13: nicht ins Internet schicken, aber der kann ja dann nicht einfach stehen bleiben und sagen,

00:05:17: nee, das darf ich nicht sehen. Ich bin traumatisiert. Johannes, deine Meinung dazu? Ich bin da gerade,

00:05:25: ehrlich gesagt, ein bisschen hin und her gerissen. Jetzt gibt es ja die Diskussion über GROC3 von

00:05:30: XAI, was ja wohl quasi überhaupt keine Limitierungen hat. Und es ist halt schon auch ein gesellschaftliches

00:05:39: Problem, was ungelöst ist. Ich meine, KI ist erstmal nur ein Werkzeug, aber es gibt halt viele

00:05:45: Menschen, die dieses Werkzeug für nicht gerade demokratieförderliche Aktivitäten nutzen. Von

00:05:53: daher, also ich finde es einerseits interessant, dass OpenAI dann doch so restriktiv ist, weil wie

00:06:05: Martin das ja eben schon angedeutet hat, sie bei Urheberrecht vorher beim Einsammeln ihrer

00:06:10: Trainingsdaten nicht unbedingt so genau darauf geachtet haben. Oder auch gar nicht. Es war ein

00:06:17: Euphemismus. Ja, und ich habe tatsächlich, ehrlich gesagt, gerade keine Idee, wie man dieses

00:06:24: Konfliktfeld lösen könnte. Ich glaube, da bist du nicht der einzige. Und es geht ja auch noch weiter.

00:06:29: Also auch die anderen sind jetzt noch am Start. Der Vollständigkeit Halber erwähne ich, dass Adobe

00:06:34: ein eigenes eher preiswertes Angebot von Firefly auf der Videokoneration rausgebracht hat. Und also

00:06:44: ich mache jetzt mal kurz meine Runde zu Ende, bevor wir zu euren Themen kommen, weil ich habe

00:06:48: das jetzt alles irgendwie direkt ja noch vor Augen. Das andere, was passiert ist, du hast Grog

00:06:54: erwähnt, Johannes, für, ich hatte muss seine Zwischenüberschrift schreiben im letzten Jahr,

00:07:00: wo bist du hingekommen? Die Zwischenüberschrift lautete "Flux.1 für Grog auf X". Also bitte.

00:07:06: Bei den Namen müssen Sie vielleicht auch mal die KI fragen, ob man das ein bisschen besser machen

00:07:11: kann. Ich habe das Gefühl, Sie haben eine gefragt, irgendeine von 1994. Also ehrlich, der Punkt ist,

00:07:18: dass Flux.1 für Grog auf X ein Bildgenerator ist, der es aus Deutschland hat,

00:07:24: tatsächlich stammt oder beziehungsweise dessen Team hier in Deutschland im Schwarzwald sitzt und

00:07:28: der ebenfalls relativ unrestrikt, un, un, wie würde man sagen? Restriktiv, glaube ich. Ja,

00:07:36: oder wenig Restriktionen hat, was man machen darf. Ich habe glaube ich gar keine gefunden.

00:07:41: Der lokal auf Rechner laufen kann, aber eben auch von X oder Twitter oder was auch immer oder deren

00:07:50: X-AI-Dings eingesetzt wird, um Bilder zu machen. Und da waren auch ein Haufen Sachen mit dabei,

00:07:56: also die tatsächlich den Wahlkampf hätten beeinflussen können oder wahrscheinlich auch

00:08:01: beeinflussend haben. Und da sollte ich dann auch eine Artikel geschrieben, also was das halt auch

00:08:04: bedeutet. Also es reicht ja aus, dass die Leute annehmen würden, dass die Bilder gefälscht sind,

00:08:09: um beispielsweise in Szenarien wie Katastrophen die Spendenbereitschaft drastisch zu reduzieren.

00:08:17: Also wenn ich mir, wenn ich denken muss, dass das Bild von dem Kind mit dem kleinen Welpen,

00:08:22: das der zukünftige Präsident Trump gepostet hat, mit der Überschrift, dass die, dass die Regierung

00:08:28: nichts tut gegen die Opfer des Hurricanes Helena, wenn ich davon ausgehen muss, dass das falsch ist,

00:08:33: wieso sollte nicht auch das Bild falsch sein von der Hilfsorganisation, die ebenfalls diese

00:08:38: Hurrican-Opfer, also ich meine, das ist dem, dem Typ natürlich komplett egal, der hat soweit

00:08:43: keine Maschine auch nicht dinken, aber letztendlich ist das was passiert und damit ist halt bei all

00:08:48: diesen Generatoren eigentlich ein riesiges Problemfeld. So, das habe ich meinen Kram durch,

00:08:54: eure Meinung zu Gen AI, habt ihr benutzt ihr das? Ja, für? Also tatsächlich in erster Linie für Bilder,

00:09:00: weil ich ganz oft irgendwelche Bildideen habe und da aber einfach nichts zu finde. Also Stockfotos

00:09:10: zum Beispiel, die ich mir dann etwas anders wünsche und ich muss jetzt sagen, ich bin jetzt auch nicht

00:09:16: so gut in Bildbearbeitung, deshalb kommt mir das oft sehr entgegen und viele Sachen, die werden mit

00:09:22: klassischer Bildbearbeitung auch schwierig hinzubekommen. Martin? Bei mir hat es auch mit den

00:09:28: Bildern angefangen, auf jeden Fall, wobei das glaube ich ein bisschen zeigt, gleich mit Chagy

00:09:31: BT auch war. Also Chagy BT war auch der Moment für mich, wo ich das so richtig das erste Mal selber

00:09:37: benutzt habe. Ich habe es davor schon immer gesehen in einem Content Team, in dem ich gearbeitet habe,

00:09:45: was ich immer so nebenbei auf der Arbeit mit gesehen habe, die damit schon früher angefangen

00:09:49: haben zu arbeiten und dann habe ich auch angefangen Bilder zu generieren und mich auszuprobieren und

00:09:56: du hast mir ja auch mal so ein Setup gegeben und gesagt, was gerade so innen ist und womit man was

00:10:02: macht und da habe ich viel mehr rumprobiert, wirklich viel benutzen tue ich es am Ende nicht, aber auch

00:10:07: immer mal wieder so um meine Unkenntnis bei der Bildbearbeitung auszugleichen. Video habe ich

00:10:12: mir angeguckt und fand es so schrecklich und auch erwartbar schrecklich, weil wenn es bei den

00:10:16: Bildern schon ja doch eher sehr random ist, dann wird es bei Video natürlich nicht besser. Aber

00:10:24: also ich probiere damit weiter rum. Eine Idee, die ich habe, an der ich schon eine Weile arbeite, ist für

00:10:30: unsere Hardware Artikel einen Sprachbott zu machen, den man fragen kann. Ganz oft haben wir im Forum

00:10:39: eine Frage zum Artikel, die im Artikel eigentlich auch beantwortet wurde, aber wenn man dann die Frage

00:10:45: im Forum stellt, dann beantworten wir sie unter Umständen oder jemand anders antwortet dann

00:10:49: darauf. Das wäre natürlich schön, wenn wir auch was hätten, wo man einfach direkt eine Frage zu meinem

00:10:53: Themenbereich stellen kann und dann die Website direkt antwortet darauf. Dein Lieblings-Kai-Feature

00:10:58: für Golan.de. Johannes. Hab ich ehrlich gesagt noch nicht drüber nachgedacht. Doch hast du. Und zwar

00:11:05: wir zusammen. Wir beide zusammen sitzen an einem. Genau, das wollte ich jetzt gerade sagen. Wir arbeiten

00:11:12: noch an Audien-Generierung, dass man sich dann quasi Texte von Martin Wolf volllesen lassen kann.

00:11:22: Das hat sich nicht von mir, sondern von meiner geklonten Schleim. Genau. Nee, ich sitze dann immer da

00:11:26: und wenn man mal drauf liegt, dann komme ich an den Rechner und lese das live vor. Martin. Das

00:11:31: finde ich übrigens super. Wir hatten vor zwei, drei Monaten hier im Podcast das Thema World of

00:11:36: Warcraft und da gibt es ein Addon, was ich mittlerweile ausprobieren durfte. Ist auch kostenfrei, wo man

00:11:44: die Quest-Texte, also wenn man mit jemandem redet und der gibt einen Auftrag und dann soll man

00:11:48: irgendwo hingehen und irgendwas einsammeln oder so, dann gibt es ja immer eine Geschichte dazu. Die

00:11:52: Zwerge haben irgendwas Episches gemacht und brauchen jetzt unbedingt fast von wem anders und so. Und es hat

00:11:59: sich so ein bisschen eingebürgert, gerade bei Leuten, die irgendwie schnell durchwollen und das

00:12:02: schon mal gemacht haben, dass man es einfach alles wegdrückt. Und jetzt gibt es ein Addon mit KI,

00:12:06: was einem das auch in so einer Zwergenstimme, die haben dann so einen schottischen Accent und so,

00:12:10: was einem das dann vorliest. Und dann redet der wirklich mit einem und dann geht man so weg und

00:12:14: er redet noch und dann kommt man wieder und gibt es ab und dann gibt es auch einen Text so und es

00:12:19: wird vorgelesen, dann redet man mit jemandem, der hat auch eine eigene Stimme, die zu dem Charakter

00:12:23: passt und das ist sehr immersiv. Also ich finde es super. Ich finde, das sind Anwendungen und auch

00:12:29: das, was Johannes gerade gesagt hat. Ich hoffe, dass wir das irgendwann mal hinbekommen. Da sind

00:12:33: andere schon viel weiter, aber wir versuchen es halt irgendwie Kraft unserer eigenen Wassersuppe und

00:12:36: müssen natürlich dabei auch noch andere Dinge machen, als uns damit beschäftigen und sind

00:12:40: natürlich auch keine Data Scientists, wie wir am Anfang schon als Disclaimer gesagt haben. Aber ich

00:12:45: finde diese ganzen Möglichkeiten mit KI, barriereärmer, Sachen barriereärmer zu machen oder

00:12:54: anzureichern, so wie du es gesagt hast, durch Dinge, die vorher in der einen Version vorlagen,

00:13:00: die dann in der anderen ganz einfach zu konvertieren, das finde ich total fantastisch. Also eines meiner

00:13:04: favoriten Gadgets auf der diesjährigen CES, wahrscheinlich disfavoriten Gadget, war eine

00:13:10: smarte Brille. Smarte Brille sind seit Jahren irgendwie immer eigentlich Mist und das ist nur

00:13:16: immer alles so halb und eigentlich gar nicht. Einige sind total am Mist. Und diese Brille machte

00:13:21: nichts anderes, als unten im unteren Sichtfeld einzublenden die Untertitel von dem, was gerade

00:13:30: gesagt wurde. Mein Bedarf mit Übersetzung und das ganze lokal vom Telefon ohne Sklaut und ohne Stream.

00:13:37: Das will ich. Exakt. Und ich stand da und dachte, man, das ist es. Also das ist was da, das ist,

00:13:43: das ist sinnvolle Anwendung von dieser Technologie. Und dann noch den Pfeil, welchen Ausgang ich am

00:13:47: Bahnhof benutzen muss und dann bin ich abgeholt. Kaufe ich. Und die haben das tatsächlich, es war

00:13:52: wirklich ziemlich gut. Also auch mehrere Sprechende konnten unterschieden werden und so weiter und

00:13:56: sofort. Und das war, und das Lustige war aber, und das zeigt eben auch, in welcher Zeit wir uns

00:14:00: gerade befinden. Ich stehe dann da und er hat das immer wieder erklärt, das war ein winziges Start-up

00:14:06: im Julikarpark. Und immer eine Haufen Leute und es ist auch alles voll mit Leuten. Also erstens ist

00:14:11: das perfekte, perfekte Szenario um das Ding zu präsentieren, weil Netz gibt's nicht. Er gibt's

00:14:16: halt einfach nicht. Alle haben da irgendwas am Summen und könnt ihr ganz vergessen, das ist eine

00:14:20: Electronic Warf. So. Und alle reden. Es herrscht eine Abarmo-Sol-Bautstärke und wenn er dir dann was

00:14:27: sagt und das da unten erscheint, dann funktioniert das Produkt. Aber was ich abgefahren fand, war

00:14:31: andere Leute da rumstanden, die guckten dann halt und dann sagte er ja, es blendet unten den Text

00:14:37: ein und sie guckten halt und warteten und er meinte, das ist das Produkt. Und die dachten halt, ja,

00:14:42: eine smarte Brille, was kann die denn noch? Und ich dachte, das ist es doch. Das ist was du willst.

00:14:47: Was soll ich denn? Alles andere ist Schwachsinn. Das ist ein großartiges Ding. Ja. Sorry, dass

00:14:53: ich so begeistert bin. Aber ich bin genauso begeistert und ich verstehe aber, dass das für Leute, die

00:14:59: vielleicht nicht so technikaffin sind, die verstehen nicht so, beim Textpublikum finde ich es schade,

00:15:05: aber bei so den klassischen Anwendern verstehe ich es manchmal, dass denen nicht so klar ist,

00:15:13: was davon eigentlich super kompliziert ist und was gerade eine Weltneuheit ist und was eigentlich

00:15:20: trivial ist und was man schon immer machen konnte und halt nicht gemacht hat, weil es uninteressant

00:15:24: ist und was die aber als total krasses Killer Feature sehen würden. Okay, dein... Aber Techies

00:15:30: finde ich es schade, dass sie das nicht... Ja, das war halt die CES, das waren schon alles Leute,

00:15:33: die Ahnung von was haben sollten, aber vielleicht waren die, ja ich weiß es auch nicht, aber das war

00:15:38: lustig, weil er hat es wirklich öfter, musste er sagen, ja, that's the product. Aber Live-Übersetzung

00:15:44: als quasi Killer Feature höre ich öfter bei so Sachen, auch so bei Kopfhörern kommt es jetzt so

00:15:49: langsam, dass die das dann bald mal können sollen, da warte ich bei meinen Sony Kopfhörern auch drauf,

00:15:54: dass die... Ja, stecken für ein Update. Ja, daran glaube ich nicht, aber dass sie es vielleicht

00:15:59: mit dem Handy zusammen, wenn das ja... Die haben ja jetzt alle SOCs mit irgendwie, wo die Hälfte von

00:16:05: irgendwie quasi KI ist, eigentlich nur noch irgendwie FP8-Beschleunigung und was auch immer so,

00:16:10: dass dann die ganzen Gadgets, die damit verbunden sind, das auch wirklich mal nutzen und damit Dinge

00:16:17: tun. Und dann könnte das für die Kopfhörer wirklich ein Firma Update sein, wenn ihr einfach

00:16:21: alles Audio in dieses Handy gießen und es macht daraus das, was man haben will und gibt es zurück,

00:16:26: dann braucht man ja noch nicht mal mehr neue Kopfhörer für. Bevor wir jetzt gleich zur Hardware

00:16:30: kommen, Johannes, dein favorite KI Gadget oder Ding oder Sache, die mit KI möglich geworden ist,

00:16:38: die vielleicht vorher nicht existiert hat? Tatsächlich quasi simultane Übersetzung. Ich war letztes Jahr

00:16:46: in China und da ist halt die Sprachbarriere sehr groß, weil die Menschen, die man so in Geschäften

00:16:55: oder so trifft, die sprechen in der Regel auch kein Englisch. Und wir konnten uns dann aber trotzdem

00:17:03: dadurch unterhalten, dass die dann halt ihre Handys rausgeholt haben und ich halt was reingesprochen

00:17:09: habe, es hat sie übersetzt und dann halt umgekehrt. Das finde ich eine extrem praktische Sache und ich

00:17:17: benutze das auch teilweise, um mir den Sprechtext von Videos aus China übersetzen zu lassen, weil ich

00:17:26: mir auch gelegentlich mal Hardware angucke, die es nur in China gibt, die man hier so überhaupt nicht

00:17:32: bekommt und für die es entsprechend auch sehr wenig Informationen gibt. Und da sind aber chinesische

00:17:37: soziale Medien sehr, sehr umfangreich, also eine sehr umfangreiche Quelle. Das Problem ist halt nur,

00:17:45: man sieht, was die dann machen. Also wenn dann zum Beispiel jemand so ein Speichertschip auseinander

00:17:49: nimmt, man versteht aber halt nicht, was er sagt. Und wenn man es dann übersetzt hat, dann versteht man

00:17:56: halt, okay, er hat da jetzt Altaicillizium rausgenommen und vergleicht den Chip, der von einem

00:18:02: chinesischen Hersteller ist, mit einem von Samsung und zeigt halt, das ist ein ganz anderes Stück

00:18:08: Silizium und es ist damit sehr wahrscheinlich, dass das tatsächlich aus China kommt und nicht

00:18:15: einfach nur umgelabelt ist. Um so ein bisschen zu zeigen, okay, das ist hier alles ernst und nicht.

00:18:23: Genau. Okay. Gut Martin, jetzt kommen wir zur Hardware. Da wollte ich eigentlich nur das Einstich

00:18:27: Wort sagen, Nvidia. Nvidia ist ja ein bisschen der Treiber für diese ganze Sache auf Trainingsseite.

00:18:36: Immer noch unangefordert. Wie ging es Nvidia so im letzten Jahr?

00:18:39: Den ging es fantastisch. Also ich glaube, die letzten zwei Jahre könnten für Nvidia eigentlich

00:18:45: nicht besser sein. Auf uns zwischendurch mal Enttäuschung gab für die Anleger, dass es nicht

00:18:49: noch ein größerer Rekord war, obwohl es ein Rekord war, der die Erwartungen übertroffen hat.

00:18:56: Ja, also die schwimmen gerade in Geld. Es geht gerade so langsam wieder so

00:19:00: ein bisschen Richtung Kurskorrektur, sag ich mal, aber es ist immer noch, also die können

00:19:06: sich vor Geld nicht retten und das sieht auch nicht so aus, als würde sich das jetzt plötzlich

00:19:10: ändern. Die haben sehr früh schon erkannt, dass man mit GPUs viel mehr machen kann als nur Grafik

00:19:17: berechnen und als das dann so langsam wirklich losging, dass das für künstliche Intelligenz

00:19:23: oder Anfangs hat man es ja meistens noch Maschinen lernen genannt. Da haben sie alles reingesteckt.

00:19:31: Sobald klar war, dass das die Richtung ist, dass man mit diesen großen Sprachmodellen

00:19:37: wirklich was erreichen kann und dass man einfach nur mehr Comput braucht und mehr Speicher

00:19:44: und mehr Speicherbandbreite, dann haben sie technisch alles in Bewegung gesetzt und tun das

00:19:50: bis heute und haben ja auch versprochen auf der letzten Comput-Text, dass es jetzt wirklich

00:19:56: im Jahresrhythmus Updates gibt, dass die Dinger immer auf dem aktuellsten Note von TSMC sein

00:20:00: werden und dass sie immer die aktuellste Speichertechnik verwenden. Ich glaube, wir sind bei

00:20:05: HBM 3e, genau. Und irgendwie die nächste HBM Generation steht schon so langsam in den

00:20:11: Schadlöchern. HBM steht für High Bandwidth Memory. High Bandwidth Memory, genau. Das ist einfach ein

00:20:17: sehr breiter Speicherbus, womit man einfach massiv Daten übertragen kann. Und die Besonderheit

00:20:24: ist, dass die Chips nicht irgendwie weiter weg von der GPU sind in so eigenen Modulen,

00:20:29: sondern dass man die direkt mit in das Package integriert, um ein bisschen Energie zu sparen,

00:20:35: aber auch einfach da die Verbindung überhaupt in der Masse zustande zu bringen.

00:20:40: Genau, das wird man überhaupt nicht diese Dichte an Verbindungen unterbekommen.

00:20:44: Wenn wir darüber jetzt reden, dann geht es aber um das Data Center Segment, um Server-Dings oder

00:20:51: geht es auch um Grafikkarten im GPUs in normalen Reichen an? Also das Data Center steht klar im

00:20:57: Fokus bei Nvidia. Das kann man schon so sagen, da die Leading Edge Entwicklung ist mittlerweile

00:21:04: komplett darauf fokussiert. Sie bringen aber immer auch Abläger für Workstations raus,

00:21:09: die gar nicht so weit weg sind. Und es gibt ja jetzt diesen Mini PC, den Sie rausbringen

00:21:14: wollen für KI-Entwicklung, den wir hoffentlich uns auch irgendwann mal angucken können. Johannes

00:21:20: hat da, glaube ich, Ambitionen, den so schnell wie möglich in die Finger zu kriegen, wo sie

00:21:24: tatsächlich auch eigentlich so ein Data Center Chip verbauen, ein bisschen runter skaliert.

00:21:28: Ja, also. Aber genau, also es geht schon in die sehr Berichtung. So kleine Unterschiede

00:21:32: scheint es zu geben. Das scheint jetzt für KI nicht relevant zu sein, aber ich komme halt aus

00:21:37: dem wissenschaftlichen Rechnen. Deshalb gucke ich immer auf die sogenannte FP64-Leistung. Also

00:21:43: Gleitkommazalen mit doppelter Genauigkeit und die sind für KI irrelevant. Aber da scheinen die

00:21:48: genauso beschnitten zu sein wie die Desktop GPUs. Aber das ist, glaube ich, auch ein bisschen

00:21:55: bezeichnet für viele von den KI-Produkten, dass sie sich für den ganzen Rest, also für Grafik,

00:22:01: für FP64 und so, teilweise gar nicht mehr interessieren und das entweder komplett rausnehmen

00:22:07: oder zumindest nur noch so als beileuglich für Kompatibilität irgendwie erhalten, aber die

00:22:12: Performance ist ein vielfaches schlechter, als sie es eigentlich sein könnte, wenn man das

00:22:17: wirklich mit einbauen würde. Und das, genau, die Frage war also im Workstation Grafika gibt es

00:22:25: auch und die haben mittlerweile auch sehr viel Speicher und das ist durchaus auch für Data

00:22:30: Science und KI Sachen, also mehr als 100 Gigabyte Speicher. Ich will nicht sagen, für 3D Rendering

00:22:37: braucht man das nie, aber da muss man sich seine Anwendungsfälle schon raussuchen, wo man so viel

00:22:42: Speicher braucht. Bei KI ist das eher der Fall. Und dann die Desktop Grafikkarten, die können

00:22:51: mit abstrichen mittlerweile auch sehr viele von den KI-Features, die im Data Center eingesetzt

00:22:56: werden und Blackwell kam ja jetzt auch die aktuelle Nvidia Grafikkartengeneration oder

00:23:02: Architektur, die kam ja auch zuerst im Data Center mit den ganzen Data Center Features auf

00:23:06: den Markt und wird jetzt in die Konsumagrafikarten oder in Form von Konsumagrafikarten quasi als

00:23:14: zweiter Schritt veröffentlicht und nicht mehr als erster Schritt. Also das Data Center ist immer

00:23:18: mittlerweile voran. Okay, das ergibt auch Sinn. Also wir haben auch im Archiv einen Podcast, ich

00:23:24: glaube der Titel war womit Nvidia wirklich Geld verdient, wo wir uns darüber nochmal unterhalten

00:23:29: haben, aber die Frage, die sich mir stellt, gibt es denn da nicht inzwischen, also AMD hatte jetzt

00:23:37: ein bisschen Zeit aufzuholen. Also ich rede jetzt noch nicht über Intel, aber AMD hat ja nun wirklich

00:23:41: in weichen Zeit sich das alles anzugucken. Sind die in irgendeiner Form ernst, immer könnten die

00:23:46: aufholen oder gibt es da irgendwie Bestrebungen? Technisch sind sie häufig gar nicht weit weg.

00:23:51: Also was irgendwie die reine, die rohe Rechenleistung angeht oder die Speicherbandbreite, die Speichermenge,

00:23:59: da sind sie, also die kochen ja mit demselben Wasser, die bauen bei TSMC, die kriegen im Zweifel

00:24:06: den selben Note, müssen dann noch gucken, wer jetzt irgendwie genug Geld hat, um wie viele Wafers pro

00:24:10: Jahr zu kaufen bei denen, aber im Grunde können sie dieselben Chips bauen, auch Intel kann das.

00:24:15: Aber Nvidia war, glaube ich, einfach eher dran und hatte mit CUDA eine Vorarbeit geleistet,

00:24:23: wo den anderen Herstellern scheinbar nicht so klar war, wie wichtig das ist. Also die hätten da viel

00:24:29: eher sich darum kümmern müssen, um die Beziehung zu den Entwicklern zu kriegen, um die Vorarbeit bei

00:24:34: der Software zu leisten, die Nvidia über Jahre gemacht hat und was der Nvidia CEO Jensen Huang auch

00:24:42: gesagt hat, das wurde im Prinzip von den Gamer mit ihren Gaming-Grafikarten bezahlt. Also sie haben

00:24:47: CUDA eingebaut, mit ich glaube G80 war, das müsste die 8800 GTX gewesen sein, ich meine,

00:24:52: das war die erste Karte, die CUDA konnte. Und die Gamer wussten irgendwie gar nicht, wofür man das

00:25:00: irgendwie überhaupt brauchen soll und dann haben sie, wo heute ein Artikel zukommt oder wenn der Podcast

00:25:07: veröffentlicht ist, war er schon draußen, da haben sie physics integriert mit CUDA, was vorher in

00:25:14: DDR in beschleuniger Karten ausgelagert war, das haben sie einfach mit CUDA dann eingebaut und

00:25:19: dann hatten die Gamer quasi auch was, wo sie dann wussten, aha, das braucht man dafür und jetzt

00:25:23: haben wir tolle Gamephysik und wow, sieht alles wunderbar aus und sah es ja auch. Und erst so 10

00:25:30: Jahre später oder eigentlich 15 Jahre später jetzt, merken wir, dass diese Querfinanzierung, also wo

00:25:36: das eigentlich dann mal hingeführt hat. Und das war auch von Nvidia an Gamble. Also das war am

00:25:42: Anfang nicht so klar, dass das irgendwie der winning move ist. Also nicht so extrem, ja. Für

00:25:46: das wissenschaftliche Rechnen war das schon sehr schnell klar. Also das hat, dass Nvidia überhaupt

00:25:52: CUDA entwickelt hat, hat ja damit angefangen, das ursprünglich mal ein paar Leute angefangen

00:25:58: haben zu gucken, wie kann ich meine wissenschaftlichen Berechnungen auf eine Grafikkarte bekommen, weil

00:26:04: es ja diese Unified Shader gab. Also ursprünglich war ja alles fest, da konnte man überhaupt nichts

00:26:10: programmieren. Und dann gab es Pixel und Vertex Shader, wo man dann anpassen konnte, wie jetzt die

00:26:16: Berechnungen da ablaufen. Und das ist dann alles zusammengefasst worden. Und da haben sich dann

00:26:22: halt ein paar Leute gedacht, hm, die Dinger haben eine extreme Rechenleistung im Vergleich zu normalen

00:26:29: Prozessoren. Warum probieren wir nicht mal aus, wie wir das da reinkriegen? Und die haben dann wirklich

00:26:33: da extreme Klimzüge gemacht, dass die dann ihre Daten in Texturen quasi umgewandelt haben, um die

00:26:41: da durchschicken zu können. Und das hat Nvidia aufgegriffen. Und man muss halt einfach sagen,

00:26:46: ATI ursprünglich und nach der Übernahme dann AMD, die haben das nie so ernsthaft aufgegriffen. Also

00:26:54: AMD hatte auch mehrere Anläufe gehabt, aber das war immer relativ halbherzig. Ich habe auch den

00:27:00: Eindruck, dass das selbst in dem Gaming-Bereich, wo jetzt klar war mit diesen upscaling Sachen und

00:27:05: mittlerweile haben wir Frame Generation, wo klar war, dass man mit relativ wenig Leistung dann eine

00:27:13: vergleichbar hohe Bildqualität hinbekommen kann, weil man einfach Sachen interpoliert und mit

00:27:18: Machine Learning Algorithmen versucht mehr rauszuholen aus einem Bild, was eigentlich eine niedrigere

00:27:23: Auflösung hat, dass AMD immer den Eindruck erweckt hat, als ob sie erst dann reagieren, wenn

00:27:30: Nvidia das rausgebracht hat und die Leute anfangen das zu benutzen. Also sie sind eigentlich nicht

00:27:35: diejenigen, die da die Vordenker sind aus irgendeinem Grund. Ich weiß nicht warum.

00:27:40: Ich kann sagen, also wir hatten auch dazu, und Gott, wenn wir nur noch Werbung für

00:27:44: einen Podcast, wir hatten einen zweiteiligen AMD Podcast. Und einer der Punkte, die wir da auch

00:27:47: aufgeriffen hatten, war AMD, muss sich im Gegensatz zu Nvidia um noch mehr kümmern.

00:27:53: AMD besteht nicht nur aus einer Grafika-Ensparte und macht nicht nur das. Und auch wenn man sagen

00:28:00: könnte, okay, das sind getrennte Sachen, aber es gibt nur so und so viele Leute und so und so

00:28:03: viel Geld und so und so viel Ressourcen, um das zu machen, war so unser Ansatz.

00:28:07: Ja, da würde ich aber sagen, eine Grafika-Ensparte ist ja schon ein zumindest ausgegliedertes oder

00:28:15: eingegliedertes Element innerhalb des Unternehmens.

00:28:18: und die müssen dann ihren Teil schon ernst nehmen, finde ich.

00:28:20: Ja, die werden auch schon ernst nehmen.

00:28:22: Ja?

00:28:23: Ach, Nieder habe ich keine Lust, ich mache jetzt keine Grafikkarte, die sowas wie cool

00:28:27: da kann.

00:28:28: Naja, also ganz so würde ich nicht sagen, aber also es erweckt schon manchmal den Eindruck,

00:28:33: als ob sie wirklich einfach geschlafen haben.

00:28:35: Pass auf, okay, anderes Beispiel.

00:28:36: Intel.

00:28:37: Ein Punkt habe ich noch.

00:28:38: Genau, oder?

00:28:39: Johannes haben wir einen schon.

00:28:40: Einen wichtigen Punkt habe ich noch, weshalb Nvidia im KI-Bereich immer noch wirklich

00:28:46: unangefochten der Marktführer ist, das ist man häufig, dass beim Training Nvidia einfach

00:28:52: stabiler laufen soll.

00:28:53: Also beim Training ist die Herausforderung, man hat mittlerweile in der Größenordnung

00:28:58: von 100.000 GPUs, die da parallel rechnen.

00:29:03: Und wenn da eine ausfällt, dann ist der aktuelle Durchlauf kaputt, man muss ein Snapshot

00:29:08: wieder herstellen, also quasi die letzte Sicherung der Modellparameter.

00:29:13: Und dann fängt man damit wieder von vorne an.

00:29:16: Und was man in dem Kontext ganz häufig liest, einerseits bei AMD, aber zum Beispiel auch

00:29:24: bei Huawei, die in China versuchen, den Nvidia-Marktanteil zu übernehmen, dass die da einfach nicht

00:29:32: die Stabilität erreichen beim Training wie Nvidia.

00:29:35: Und das dadurch halt einfach die Kosten und die praktischen Herausforderungen größer

00:29:41: sind.

00:29:42: Und an der Stelle würde ich dann einwerfen, dass Nvidia nicht nur eine Grafik-Campagne

00:29:48: ist, sondern die haben ihren eigenen Netzwerkramm, den sie benutzen, um die GPUs zu vernetzen

00:29:54: und mittlerweile im Prinzip eine große GPU schaffen zu können, die dann, obwohl sie

00:29:59: aus Dutzenden oder Hunderten GPUs besteht, als ein Element fungiert und das alles integriert

00:30:07: selbst zu entwickeln in verschiedenen Abteilungen, dürfte ein großer Vorteil sein, den die

00:30:13: anderen so irgendwie mit Ethernet oder anderen Technologien versuchen auf ein ähnliches Ergebnis

00:30:21: zu kommen, aber es scheinbar nicht schaffen.

00:30:23: Also es ist offenbar besser, das einfach alles zu integrieren.

00:30:27: Zumindest haben wir jetzt einen kurzen Einblick in die hardware-Entwicklung gehabt nochmal.

00:30:30: Ich sag schon AMD, das ist die freudschere Vielleistung.

00:30:35: Nvidia ist immer noch unangefochert, AMD, schnell und laut.

00:30:41: Kommen wir Richtung Software.

00:30:45: Das zweite Wort, wenn man die ganze Sache in zwei Worte zusammenfassen müsste im letzten

00:30:50: Jahr, das erste wäre Nvidia, das zweite Wort ist gerade erst aufgetaucht, ist jedenfalls

00:30:54: meiner Meinung Deepseak, Johannes.

00:30:56: Ja, Deepseak hat von sich reden gemacht mit einem sehr günstigen Modell, was aber trotzdem

00:31:05: recht leistungsfähig ist.

00:31:06: Also was zu OpenAI's O1, was dadurch aus mithalten kann und wo es dann auch direkt Vermutungen

00:31:16: gab, dass es möglicherweise eine sogenannte Wissensdestillation von O1 wäre.

00:31:20: Mit anderen Worten geklaut.

00:31:22: Richtig.

00:31:23: Also hatte ich mir heute morgens aufgeschrieben, Urheberrechtsverletzung zweiter Ordnung.

00:31:28: Also Deepseak hat sich die möglicherweise, muss man dazu sagen.

00:31:34: Das behauptet Microsoft und OpenAI, ich habe bis jetzt noch keine harten Beweise für

00:31:40: gesehen, aber die sollen sich ihre sogenannten Tokens für das Training, also die Eingabendaten

00:31:46: für das Training, sollen sie sich aus OpenAI's O1 Modell besorgt haben.

00:31:54: OpenAI hatte ja für seine Trainingsdaten einmal das komplette Internet quasi runtergeladen,

00:32:00: ohne Rücksicht auf Verluste.

00:32:01: Deshalb Urheberrechtsverletzung zweiter Ordnung.

00:32:04: Genau.

00:32:05: Und was aber das Interessante an Deepseak ist, ist, dass die wohl auf technischer Ebene

00:32:11: sehr viel optimiert haben, um mit ihrer schwächeren Hardware, die sie nur bekommen können.

00:32:18: Also nach China darf Nvidia nur leistungsbeschränkte Hardware verkaufen.

00:32:23: Wobei es auch da wieder Gerüchte gibt, dass diese Exportbeschränkungen umgangen worden

00:32:31: sein sollen und es weiß auch niemand genau, wie Nvidia diese Beschränkungen tatsächlich

00:32:36: umsetzt.

00:32:37: Also möglicherweise lassen die sich auch dann in der realen Hardware wieder aushebeln, weiß

00:32:42: niemand so genau.

00:32:43: Allerdings hat Deepseak dazu ein technisches Paper geschrieben, was so an sich jetzt erst

00:32:52: mal recht einleuchten klingt.

00:32:55: Und was die gemacht haben, ist, dass sie geguckt haben, dass sie möglichst die Berechnungen

00:33:04: bei dem Training nicht auf mehrere GPUs oder nicht auf allzu viele GPUs verteilen müssen.

00:33:10: Das ist halt ein grundlegendes Problem bei größer werdenden Modellen.

00:33:14: Also die größer eines Modells wird ja immer in der Parameterzahl angegeben.

00:33:19: Also das sind die einzelnen Neuronen nenn ich es mal, das neuronalen Netzes.

00:33:25: Und da lese ich bei dir hier eine Zahl in den Notizen.

00:33:28: GPT-4 vermutlich 1,76, da steht Billionen.

00:33:33: Genau.

00:33:34: Und das ist nicht einfach die Fehlübersetzung.

00:33:36: Das ist keine Fehlübersetzung.

00:33:38: Es gibt keine offizielle Bestätigung zu dieser Zahl, aber Deepseak gibt für seine Modelle

00:33:46: 673 Milliarden Parameter an.

00:33:50: Von daher ist es durchaus nicht so weit hergeholt anzunehmen, dass selbst wenn das nicht der

00:33:56: Fall sein sollte in diesem Jahr das erste Modell mit mehr als einer Billion Parameter

00:34:03: rauskommt spätestens.

00:34:04: Genau.

00:34:05: Und die Idee ist aber halt da, das nicht quasi als einen großen Blob zu haben, also nicht

00:34:12: diese ganzen Parameter in einem Modell, sondern das in kleinere Modelle aufzuteilen.

00:34:18: Das nennt sich Mixed Shop X-Parts.

00:34:20: Das heißt, man hat eben diese mehreren, kleineren Modelle, die für Teilaufgaben trainiert sind.

00:34:26: Und die Deepseak hat es angeblich geschafft, die Eingabendaten so fortzuverarbeiten, dass

00:34:34: sie sehr genau auswählen können, welche dieser Teilmodelle aktiviert werden müssen.

00:34:40: Ich habe jetzt die Zahlen nicht mehr genau im Kopf.

00:34:42: Ich glaube, die haben um die 30 Milliarden Parameter jeweils.

00:34:46: Und daraus wird dann am Ende das Ergebnis abgeleitet.

00:34:53: Der Vorteil, wenn ich kleinere Modelle habe, ist einfach, dass die in den Speicher von

00:34:57: weniger GPUs passen.

00:34:58: Und wenn ich viele GPUs parallel benutzen muss, dann führe ich immer nur einen Teil

00:35:05: der Berechnungen auf einer aus und muss das am Ende zusammenführen.

00:35:08: Das heißt, ein Teil der Hardware liegt einfach für einen Teil der Berechnungszeit ungenutzt

00:35:13: aus dem Sprach.

00:35:14: Ich habe viel mehr Kommunikationsaufwand.

00:35:18: Ich brauche entsprechend teure Netzwerke.

00:35:21: Und das ist aber ein allgemeiner Ansatz.

00:35:27: Also es sind wohl eigentlich, soweit ich weiß, alle größeren Modelle aktuell, solche Mixed

00:35:34: Shop X-Parts Systeme.

00:35:37: Und was sie noch gemacht haben, ist, dass sie versucht haben, eben diese Kommunikation,

00:35:42: die ich schon angesprochen hatte, man kann halt auch noch das Ganze dann hintereinander

00:35:47: schalten.

00:35:48: Also man hat in diesen KI-Modellen immer verschiedene Schichten von Neuronen, wo dann quasi die

00:35:57: Eingabe nacheinander durchläuft.

00:35:59: Und das kann man dann sehr schön wiederum zwischen verschiedenen GPUs aufteilen.

00:36:04: Man nimmt halt die Ausgabe der einen Schicht, schickt die an die nächste GPU weiter und

00:36:09: die rechnet damit dann die nächste Schicht weiter.

00:36:11: Und da haben sie wohl relativ viel Aufwand reingesteckt, das so hinzubekommen, dass sie

00:36:19: Berechnungen und Kommunikation so überlagern können, dass die Kommunikation keine Wartezeit

00:36:28: verursacht.

00:36:29: Und, ah ja, genau, eine letzte Sache, die noch neu ist bei Ihnen, das ist aber eher

00:36:36: ein technisches Detail, dass sie sogenanntes Reasoning, also eine schrittweise Bearbeitung

00:36:44: von komplizierteren Fragestellungen ohne einen zusätzlichen Zwischentrainingsschritt,

00:36:51: den man normalerweise vorher gemacht hat hinbekommen haben wollen.

00:36:54: Also sie sagen halt, dass ihr R1 Zero-Modell, also die haben insgesamt vier verschiedene

00:37:04: Modelle, glaube ich, entwickelt, die sich dann untereinander abgeleitet waren und sich

00:37:10: gegenseitig die Eingaben erstellt haben.

00:37:13: Es ist ein kleines bisschen unübersichtlich.

00:37:15: Das soll aber mit normalem sogenannten Reinforcement Learning, also verstärkendem Lernen, wo man

00:37:23: quasi eine Eingabe hingibt und dann guckt, wie gut ist die Ausgabe und dem Modell das

00:37:29: sagt.

00:37:30: Soll das schon dieses Reasoning entwickelt haben?

00:37:34: Und bis dahin war es eigentlich so, dass man dieses Reasoning nochmal extra trainiert hat.

00:37:41: Also es bedeutet halt, man kann es schön mit klassischem Dreisatz erklären, dass man

00:37:47: einen Modell nicht einfach eine Frage stellt.

00:37:49: Ich hatte jetzt ein Beispiel dazu gelesen, das war ein Zugpferd mit 60 Kilometern pro

00:37:57: Stunde für drei Stunden, wie weit ist er gefahren.

00:38:00: Und da würde das Modell dann erstmal bei diesem Reasoning die Verbindung zwischen Zeit

00:38:09: und Geschwindigkeit herstellen, um daraus dann die Antwort abzuleiten.

00:38:13: Genau, das ist aufwendiger, kann aber zu besseren Ergebnissen führen bei komplexen Fragestellungen.

00:38:19: Und Fragen konnte man und zwar selber.

00:38:23: Im Gegensatz zu OpenAI, weil das war der nächste Knaller an Diebzig, konnte man sich das runterladen

00:38:29: und direkt auf sein Rechner zerdienung laufen lassen.

00:38:31: Also du hast das gemacht.

00:38:33: Ich habe es tatsächlich nicht selber gemacht, das hat unser Kollege Mike gemacht.

00:38:38: Und wir haben auch nicht das originale Diebzig V3 runtergeladen, weil das hat 673 Milliarden

00:38:49: Parameter.

00:38:50: Ich muss jetzt mal schnell überschlagen, das ...

00:38:55: 640 Gigabyte Henslumpch gebraucht, man Sprecher.

00:38:58: Ja, an Grafika und Sprecher nicht.

00:39:01: Ja, also es ist auf jeden Fall ...

00:39:03: Ein bisschen größer.

00:39:04: Viel.

00:39:05: Ich glaube, man braucht ein Achter-System mit Nvidia H100.

00:39:12: Also die haben ...

00:39:13: Nur zur Information für alle Leute, die zugehören.

00:39:15: So was haben wir nicht.

00:39:16: Genau.

00:39:17: Es kostet auch ...

00:39:18: Martin hat noch mal kurz überlegt, ob er in dochem Schrank irgendwo hinten vielleicht

00:39:21: noch ein bisschen ...

00:39:22: Wer hier einbrechen möchte und glaubt, das mitnehmen zu können, sorry, haben wir nicht.

00:39:27: Also es kostet auch weit über 300.000 Euro.

00:39:31: Genau, also die kämen dann auf 640 Gigabyte.

00:39:38: Ja, 640 Gigabyte.

00:39:40: Weil ich nicht versuche, meine 640 Gigabyte.

00:39:43: Genau, ja.

00:39:44: Und in der Größenordnung bräuchte man halt was, aber es gibt sogenannte destillierte

00:39:49: Modelle.

00:39:50: Da ist quasi ...

00:39:51: Ohne Mineralien.

00:39:53: Ja, so ungefähr.

00:39:56: Es ist quasi das Ausgabeverhalten von dem DeepSync V3 auf ein kleineres Modell übertragen.

00:40:04: Also es gibt es für Lama 3 von Mita und QAN, das ist von einem chinesischen Unternehmen,

00:40:11: ich weiß aber gerade nicht, aus dem Kopf, wer dahinter steckt.

00:40:14: Genau, und das sind dann die Modelle, die kann man auch lokal ausführen.

00:40:20: Und wie sind die so?

00:40:21: Also Mike war ganz zufrieden.

00:40:24: Und da kann man halt auch dieses Reasoning dann nachvollziehen.

00:40:28: Ach ja, genau, das hatte ich auch ausprobiert.

00:40:30: Da habe ich mir, da habe ich mir mal die Aufgabe gestellt, ein Programm zu schreiben, ein C-Programm

00:40:36: um mehr Send-Prime-Zahlen zu finden.

00:40:40: Und das hat es tatsächlich sehr gut gelöst, muss ich sagen.

00:40:46: Also da gibt es dann bestimmte Algorithmen, um relativ schnell einen Prim-Teiltest zu

00:40:53: machen bzw. überhaupt erst mal rauszufinden, welche Prim-Zahlen in Frage kommen.

00:40:58: Da war dann wirklich der Prozess, ja erst mal überlegen, was sind überhaupt mehr Send-Prime-Zahlen.

00:41:04: Da gab es auch ein Algorithmus, mit dem ich mögliche Kandidaten vorauswählen kann.

00:41:11: Okay, jetzt habe ich die Kandidaten, jetzt muss ich noch testen, ob das eine Prim-Zahl

00:41:16: ist.

00:41:17: Und ich glaube, dann ist es halt da auf das Sieb des Erlertosten gegangen, was also

00:41:22: der einfachste Prim-Zahltest ist.

00:41:24: Aber es kam ein Programm raus, was habe ich es kompiliert?

00:41:30: Ich glaube, ich habe es sogar kompiliert.

00:41:33: Es hat auf ein Anhieb funktioniert zwar gültiger C-Code.

00:41:36: Okay, womit es nicht so gut klar kommt, sind Fragen zu den Uiguren und der chinesischen

00:41:41: Regierung und Taiwan und all so Sachen, aber das ist bei einem Modell aus China wahrscheinlich

00:41:45: ein bisschen zu erwarten.

00:41:46: Ja, wobei ich da auch beide Ergebnisse gesehen habe.

00:41:49: Also, scheinen Sie, je nachdem, was man fragt, beantwortet ist das ohne Probleme.

00:41:53: Das ist das nächste.

00:41:54: Wir haben eine schöne Headline dazu, Deepseeker 1, wohl für so ziemlich jeden KI-Jailbreak

00:41:59: anfällig.

00:42:00: Und damit kannst du natürlich dann auch nach den Uiguren fragen.

00:42:02: Also, dann geht auch die sperre der chinesischen Zensur dann nicht mehr, wenn alle Jailbreaks

00:42:10: gehen.

00:42:11: Also, die Frage nach Neujohanes ist es kompliziert zu installieren.

00:42:15: Muss ich mich da irgendwie, muss ich irgendwie filmen Züge?

00:42:18: Nein, also, Mike hatte das innerhalb von sehr kurzer Zeit dann gemacht.

00:42:24: Also, man kann das zum Beispiel über Hagingface sehr einfach runterladen.

00:42:31: Ich bin mir jetzt nicht sicher, ich glaube, die bieten sogar dann fertige Docker-Container

00:42:36: an.

00:42:37: Wir verlinken das, die Anleitung, also sich das anzuschauen, kann man also relativ einfach

00:42:42: machen.

00:42:43: Wir schwenken zurück zu Martin.

00:42:44: Ich habe eine Diskussion mit Martin, als ebenfalls gerade eben erst, also diese ganzen Sachen,

00:42:49: tatsächlich einiges davon, ist wirklich gerade eben erst eben passiert.

00:42:52: Also, die Nachricht zum Beispiel zu Deepseek habe ich gerade geguckt, das war im Januar,

00:42:55: das ist alles noch nicht so lange her.

00:42:57: Ja.

00:42:58: Ebenfalls im Januar hat sich der dann gewählte und offiziell intronierte US-Präsident Donald

00:43:04: Trump hingestellt und hat gesagt, wir geben 500 Milliarden US-Dollar aus für KI-Infrastruktur.

00:43:12: Und ich habe dann gesagt, aber das ist doch total, also meiner Meinung nach, das ist ein

00:43:17: bisschen verschenktes Geld.

00:43:19: Weil, also das klingt irgendwie, ich meine, das ist natürlich so, dass er irgendwas sagen

00:43:22: will, was eine große Zahl hat.

00:43:24: Absolut.

00:43:25: So, das ist der Punkt bei ihm, okay, geschenkt.

00:43:28: Aber wenn man darüber nachdenkt, die Hardware, die dann da steht, die ist ja auch nicht für

00:43:34: die Ebigkeiten sinnvoll und diese KI-Initiative zu machen, bei einer Sache, die größtenteils

00:43:42: Software und Köpfe ist, fand ich, ist eigentlich ein bisschen sinnlos.

00:43:49: Du siehst das anders.

00:43:50: Ich sehe das in Teilen anders.

00:43:52: Ich finde schon, dass man auch an Deepseek gesehen hat, dass es durchaus sinnvoll sein

00:43:57: kann, bei der Hardware Einschränkungen zu haben oder sich selber Einschränkungen zu

00:44:02: geben, weil man dann eben dazu gezwungen ist, algorithmisch zu optimieren und zu versuchen

00:44:09: mit weniger purer Rechenleistung und mit weniger Speicher, die gleichen oder bessere Ergebnisse

00:44:15: zu erzielen.

00:44:16: Und langfristig ist das sicher immer ein guter Weg zu optimieren, soweit man kann.

00:44:22: Aber wenn man jetzt am Tempo der Entwicklung irgendwie mithalten will, glaube ich schon

00:44:27: auch, dass man sich nicht unbedingt leisten kann, an diesem Hardware-Rennen nicht teilzunehmen.

00:44:32: Und das große Problem, wo sich dann auch die Geister scheiden, ob das alles Humbug ist

00:44:37: oder nicht, ist die Frage, ob überhaupt der Ansatz, den die KI-Unternehmen gerade so haben,

00:44:43: überhaupt am Ende zielführend ist, um zum Beispiel zu so einer General AI zu kommen,

00:44:48: die irgendwie wirklich intelligent ist oder zumindest intelligente Dinge tun kann.

00:44:52: Oder ob der Ansatz nicht geeignet ist und man was ganz anderes machen muss.

00:44:59: Und auf dem Weg das auszuprobieren, falls das richtig ist, wenn man da irgendwie ein Jahr

00:45:05: oder zwei verschenkt hat, gerade bei dem Entwicklungstempo, glaube ich, kann das schon enorm schädlich

00:45:09: sein.

00:45:10: Und bis wir da sind, ist das alles unprofitabel.

00:45:13: Ich glaube, keins von diesen Unternehmen macht irgendwie, nenn es Wertengewinnen, also es

00:45:17: eigentlich immer verlustet.

00:45:18: Sie brauchen irgendwie Funding von außerhalb.

00:45:21: Und das ist alles gepoker, dass da irgendwann was Großartiges draus wird.

00:45:25: Und wenn eine Regierung das mit 500 Milliarden unterstützen oder zumindest dafür sorgt, dass

00:45:32: 500 Milliarden irgendwo herkommen, um eben diese unprofitablen Unternehmen in die Lage

00:45:37: zu versetzen, das weiter zu entwickeln und weiter dieses Rennen mitzumachen, dann glaube ich,

00:45:43: wenn man das gewinnen will, dann kann man sich nicht leisten, das nicht zu machen, weil

00:45:47: ich bin davon überzeugt, dass die chinesische Regierung auf jeden Fall die Kohle locker

00:45:51: macht.

00:45:52: Die chinesische Regierung hat aber in ihrem Land nicht so ein Haufen auf Geld bergensitzende

00:45:58: Unternehmen, wie das die USA am 22.

00:46:01: Jahr vorzuhabenweise, wer sich damit beteiligt hat an dieser ganzen Nummer, an diesem Geldschwamm,

00:46:06: war Softbank aus Japan, war der sovereign wealth Fund von den Saudis und noch so ein paar andere

00:46:13: Leute, die Oracle, die auf Geld, ja, er tut mir leid Martin, da sehe ich jetzt nicht, dass

00:46:19: die Regierung, unser hart arbeitest Schölgeld, hätte ich gerade fast gesagt, du weißt schon,

00:46:23: was ich meine, da reinbuttert in diesen Größenordnungen.

00:46:26: Und das ist in China einfach mal komplett anders.

00:46:29: Da sehe ich das als komplett gerechtfertigt an, aber ich wohne ja auch nicht in China.

00:46:33: Den Teil habe ich dabei gar nicht beachtet und tue es auch immer noch nicht, weil also

00:46:38: natürlich bin ich der Meinung, dass wenn diese Unternehmen eh schon so reich sind und sich

00:46:42: das leisten können, dann sollen die das bitte auch selber bezahlen.

00:46:45: Aber das ist die Entscheidung der US-Regierung und da stecke ich nicht drin.

00:46:50: Ich sage nur, an diesem 500 Milliarden Dollar Rennen müssen sie teilnehmen, wenn sie eine

00:46:55: Chance auf ein Sieg haben wollen.

00:46:56: Und mein zweiter Punkt, den ich hatte, weswegen ich das so ein bisschen sinnlos fand, ist,

00:47:01: weil ich denke, dass die Leute, die da hinterstellt sind, das ist auch ein Rennen, das ganz viel

00:47:07: über Köpfe läuft, über Einzelpersonen, die wirklich krass an diesen Sachen arbeiten,

00:47:12: über die man vielleicht in Jahrzehnten dann irgendwie Bücher lesen wird und deren Stories

00:47:16: so ein bisschen rauskommen, vielleicht hoffentlich und wie das damals war und so weiter, so

00:47:20: wie man jetzt vielleicht Bücher liest über die frühen Computer-Leute, die den Umstieg

00:47:25: von Röhre auf, keine Ahnung, was Kernspeicher, war es auch immer.

00:47:28: Aber so diese Wildwestgeschichten, das wird man vielleicht dann in 10 Jahren lesen.

00:47:32: Das sind alles einzelne Menschen.

00:47:34: Und wenn die plötzlich mitkriegen, dass das da in dem Land, in den USA, gerade alles nicht

00:47:39: so geil läuft, dann können die auch nach Europa gehen.

00:47:42: Oder nach China, wenn genügend Geld bezahlt wird oder sonst irgendwo hin.

00:47:46: China halt jetzt eher für unwahrscheinlich.

00:47:48: Aber der Punkt bleibt bestehen.

00:47:49: Die sind auch nicht gesetzt, dass die da bleiben und nur weil man 500 Milliarden Dollar auf

00:47:54: das Unternehmen wirft, wenn man sich die Unternehmenschefs anguckt, wie zum Beispiel Elon Musk, dann

00:47:58: kann ja auch nach, also ich kann mir auch vorstellen, dass einige von den Leuten dann einfach gehen.

00:48:02: Ja, also ein paar von denen, das ein angesprochen, denen immer noch mehr Geld und mehr Möglichkeiten

00:48:10: zu geben, hat ich sowieso für gefährlich.

00:48:12: Man kann sicher auch gute Argumente finden, dass diese gesamte KI-Geschichte sehr gefährlich

00:48:19: ist.

00:48:20: Ich kann es auch nur irgendwie von außen einigermaßen leihenhaft bewerten, ob das sinnvoll ist,

00:48:27: das überhaupt zu machen.

00:48:28: Ich glaube aber, dass sich das nicht stoppen lässt und bin mir nicht sicher, ob man dann

00:48:35: nicht gezwungen ist, das mitzumachen.

00:48:37: Ja, also das ist natürlich ein valider Punkt.

00:48:41: Und da wir jetzt Richtung Ende kommen und du das aber, das hast du schön, du hast jetzt

00:48:44: schön noch mal zu den Gefahren hingeleitet.

00:48:47: Was wir beim letzten Mal schon hatten und was Helmut empfohlen hatte, was man lesen sollte

00:48:50: und was auch immer noch steht, ist ein Buch aus dem Jahr, 1914, Entschuldigung.

00:48:56: Und es heißt, es ist von Nick Bostrom und heißt Superintelligence und auf Deutsch einfach

00:49:01: Superintelligence.

00:49:02: Und eine Geschichte in dem Buch ist, also das Buch geht natürlich nicht nur um Geschichten,

00:49:08: sondern es geht halt darum, was man machen könnte, schräg schräg sollte, wenn diese

00:49:12: Superintelligence auftaut und eigentlich schon davor.

00:49:15: Also wie krass das damals auch eingeschlagen hat, kann man sehen, dass sowohl Elon Musk,

00:49:20: als auch Bill Gates, auch als auch Sam Altman das Buch als sehr, da haben wir es schon als

00:49:24: sehr, sehr beeinflussend für ihre Denken zitiert haben, was aber anscheinend jetzt nicht zu

00:49:30: allzu viel geführt hat.

00:49:31: Aber eine Geschichte in dem Buch ist, dass es eine Gruppe von Spatzen gibt, die beschließen,

00:49:37: dass sie sich eine Eule holen und zwar eine kleine Eule, also ein Eulenküken.

00:49:43: Und das ziehen sie auf, um das Eulenküken, wenn es dann größer ist, für sie arbeiten

00:49:47: zu lassen.

00:49:48: Jetzt sind Spatzen natürlich normalerweise Futter für Eulen und wenn sie klein genug

00:49:53: zerteilt sind auch für Eulenküken.

00:49:54: Aber das ist, ja, okay, Detail.

00:49:56: Der Punkt ist, dass die Spatzengruppe dann beschließt, wir fangen jetzt erstmal damit

00:49:59: an zu gucken, wo wir so ein Eulenküken überhaupt herbekommen.

00:50:02: Und einer von den Spatzen sagt, Leute, wenn dieses Eulenküken größer wird, könnte es

00:50:08: Probleme geben.

00:50:09: Also ich meine, wie stellen wir denn sicher, dass das Eulenküken, wenn es kein Küken

00:50:13: mehr ist, nicht beschließt, dass wir Teil der Nahrungskette sind?

00:50:17: Und die anderen Spatzen sagen, ja, ja, schon richtig, kann alles sein, aber weißt du was,

00:50:22: irgendwo müssen wir anfangen.

00:50:23: Wir suchen uns jetzt einfach das Eulenküken und dann können wir immer noch weiter gucken.

00:50:27: Die Geschichte endet damit, dass offen bleibt, was als nächstes passiert, weil auch immer

00:50:31: noch im Jahr 2025 offen ist, was mit unserem Eulenküken los ist.

00:50:36: Wir haben noch keins gefunden, aber die sucht ihr weiter.

00:50:40: Martin?

00:50:41: Das ist auch Teil von zwei Büchern, die wir verlinken, weil mir der Titel gerade nicht

00:50:45: einfällt, wo genau das passiert ist, nämlich die KI ist erwacht, sie wurde freigelassen

00:50:51: und tut dann KI-Dinge und die Menschen versuchen, zwischenzeitlich dann mit ihnen zu verhandeln

00:50:57: und sie haben dann quasi so einen Rätelsführer, der dann mit der KI reden kann.

00:51:01: Und es stellt sich aber raus, dass die KI natürlich nicht einsieht, dass sie irgendwie

00:51:06: den Forderungen der Menschen besonders viel Beachtung schenken muss und einfach ihre

00:51:10: eigenen Pläne macht, weil die Menschen nicht länger relevant sind.

00:51:13: Wie das ausgelassigt dann offen, das kann man dann in Zweifel nachlesen, aber ja.

00:51:18: Die verlinken wir, auch wenn wir den Namen jetzt nicht einführen.

00:51:21: Ich habe mir jetzt einfach aufgeschrieben, KI Bücher Martin.

00:51:23: Ich meine, es war das Erwachen, aber ich klingte zu generisch.

00:51:27: Nein, es ist kein Ding.

00:51:28: So, letzte Worte.

00:51:29: Johannes, deine Lieblingsstrich-Furchtbaste KI-Distopie oder Utopie oder keine Ahnung,

00:51:36: wie siehst du es?

00:51:37: Ich finde die ehrlich gesagt in der Regel schrecklich übertrieben.

00:51:40: Also es ist ja nicht so, dass sich ein Computersystem einfach so selbstständig machen kann.

00:51:46: Ich meine, über Vernetzung und so gibt es Zugriff auf erschreckend viele Sachen, aber

00:51:52: die könnten wir oder könnten Hackergruppen schon heute kaputt machen.

00:51:56: Also es gibt ja regelmäßig Berichte darüber, dass irgendwie kritische Infrastruktur offen

00:52:01: im Netz hängt und so weiter.

00:52:02: Aber tatsächlich hängt KI ja trotzdem immer davon ab, dass Menschen mitmachen.

00:52:10: Und das wird dann wahrscheinlich, vielleicht mal irgendwann ein kritischer Punkt sein,

00:52:17: dass halt manche Menschen sagen, nee, wir müssen das trotzdem weiter machen.

00:52:21: An der Stelle haben wir aber zumindest hier in Europa noch eine halbwegs zuverlässliche

00:52:32: regulatorische Instanz.

00:52:34: Also wir haben ja auch zum Beispiel den Digital Services Act.

00:52:40: Wenn ich stehen habe, dann habe ich gar nicht einen, der ist auch den.

00:52:42: Genau, der hat solche Sachen umfasst.

00:52:45: Und ich glaube es ist einfach wichtig, da eine gesellschaftliche Diskussion zu haben.

00:52:52: Man darf das nicht einfach Menschen überlassen, die im Zweifel alles niederbrennen, nur um

00:52:59: dann da ihre Utopie auf versuchen aufzubauen und ob das überhaupt jemals was wird.

00:53:08: Es gibt ja Menschen, die sagen, in zwei, drei Jahren da haben wir dann die allgemeine generative

00:53:15: Intelligenz.

00:53:16: Weiß ich nicht, vielleicht sieht das auch nur für uns so aus.

00:53:22: Also es gibt ja da den Turing Test, der in solchen Kontexten immer mal wieder rumgeistert

00:53:30: und den hatten ja vor Jahren schon Chatbots bestanden.

00:53:36: Wo halt Menschen einfach davon ausgegangen sind, dass die Person oder in dem Fall halt

00:53:43: der Bot, mit dem sie da chatten, kein Bot ist, sondern ein Mensch.

00:53:48: Und das hängt halt sehr viel mit Erwartungshaltung zusammen, dass Menschen nicht automatisch davon

00:53:55: ausgehen, dass sie mit einer KI jetzt interagieren.

00:53:59: Und ich sage mal, man hat jetzt innerhalb des letzten Jahres zum Beispiel bei Bildgeneratoren

00:54:04: schon gesehen, dass die Qualität deutlich gestiegen ist.

00:54:08: Es ist aber noch immer so, dass man, wenn man weiß, worauf man ein bisschen achten muss,

00:54:16: die Bilder deutlich erkennt.

00:54:18: Das wird alles in den nächsten Jahren schwieriger, keine Frage.

00:54:21: Aber deshalb ist es umso wichtiger, da halt eine gesellschaftliche, einen gesellschaftlichen

00:54:28: Konsens zu entwickeln, wie damit umgegangen wird.

00:54:31: Das sind schöne Entorte, Johannes.

00:54:35: Johannes und Martin, vielen Dank fürs Mitmachen.

00:54:38: Vielen Dank auch fürs Zuhören.

00:54:40: Und ich bin gespannt, ob wir in einem Jahr hier sitzen oder ob dieser Podcast in einem

00:54:43: Jahr komplett von einer KI einfach vorlesen wird.

00:54:45: Und wir einfach, die sich dann...

00:54:47: Sagen wir mal etwas Thema an und...

00:54:49: Nein, wir wissen nicht, Martin.

00:54:50: Die KI macht es einfach.

00:54:53: Wir wissen nicht mal, dass es denen gibt und sie macht halt einfach einen...

00:54:55: Ich bin dafür, dass wenn das möglich ist, dass wir das einfach mal machen.

00:55:00: Ich habe tatsächlich...

00:55:02: Okay, eigentlich wollte ich nie nochmal abschweifen, Martin.

00:55:04: Ich habe tatsächlich als die ersten Version von dieser Chat-GPT-Dingsbums da rauskam, ein

00:55:14: Ex-Kollege von uns, dessen Podcast wir verlinken können, Daniel Pog, hat damals sofort einen

00:55:19: Podcast mit Chat-GPT gemacht.

00:55:22: Und ich dachte, oh, wäre das nicht nett, dann habe ich damit angefangen.

00:55:25: Ich fand das so deprimierend.

00:55:26: Martin, es tut mir leid.

00:55:27: Ich habe es dann einfach nicht weiter gemacht.

00:55:28: Ich habe mehrere Versuche gemacht über die Monate, immer wieder sowas zu machen.

00:55:32: Es nervt mich.

00:55:33: Dann gehen wir nun mal mal an.

00:55:35: Nein, nein.

00:55:36: Und dann kommt Kollege Tobi um die Ecke und zeigt mir, guck mal, was Google gerade rausgebracht

00:55:40: hat.

00:55:41: Da kann man jegliche Informationen, die man sich anlesen wollte, die kann man sich von

00:55:45: zwei Leuten als Podcast von der KI generiert vorlesen lassen.

00:55:51: Die diskutieren dann darüber und diskutieren dann diese Fakten von der Sache, die du dir

00:55:55: erklären lassen möchtest.

00:55:56: Ja, Martin hat gerade seine Augen geschlossen.

00:56:00: Ist alles okay?

00:56:02: Ich bewerte das jetzt nicht.

00:56:03: Ich sage nur, ich lasse es.

00:56:05: Und wir gucken, wie es in einem Jahr aussieht.

00:56:07: Dann unterhalten wir uns, denke ich, wieder.

00:56:09: Und ja, bis dahin, also nicht bis dahin, bitte, aber bis dahin liest man natürlich alles über

00:56:14: KI und Artikel von euch und von mir und von allen anderen, die nicht von KI geschrieben

00:56:18: wurden auf golem.de.

00:56:19: Das war der Werbelog in der eigenen Sache.

00:56:22: Vielen Dank fürs Zuhören.

00:56:23: Pünkt dich jetzt, setzt auch draußen hier der Schredder ein von den Baumdiensten.

00:56:26: Ich glaube, du warst nur eben so ins Gespräch vertieft, dass du es noch nicht gemerkt hast.

00:56:30: Du hast schon von der Weile wieder angefangen.

00:56:32: Okay, alles klar.

00:56:33: Ja, und damit verabschieden wir uns.

00:56:34: Tschau.