2D-Projektionen der Embeddings
Die semantische Karte der arXiv-KI-Paper
Jeder Punkt ist ein Paper. Zwei auf der Karte benachbarte Paper haben ähnliche Inhalte. Überfahren zeigt den Titel, ein Klick öffnet das Paper auf arXiv, und ein Wechsel der Projektion zeigt, was die Reduktionsmethode an der Zeichnung ändert.
Wie sie entsteht
Eine Stichprobe von rund 2.000 Papern wird proportional zu den Volumen je Unterthema gezogen, mit Übergewicht auf den letzten zwölf Monaten. Jedes Paper wird von einem Embedding-Modell in einen Vektor aus 1.024 Zahlen überführt, das inhaltlich ähnliche Texte nahe beieinander platziert.
Diese Vektoren leben in einem Raum mit 1.024 Dimensionen, den niemand ansehen kann. Eine UMAP-Projektion bringt sie auf zwei Dimensionen und versucht dabei, die Nachbarschaften zu erhalten. Die vier weiteren Reiter sind andere Verfahren auf derselben Stichprobe: Sie zeigen keine anderen Daten, sondern andere Kompromisse.
Die Abstände sind Anhaltspunkte. Zwei nahe Punkte behandeln verwandte Gegenstände, aber die Skala hat keine Einheit und die absolute Position bedeutet nichts.