Die überraschende Kraft der Vorhersage des nächsten Wortes: Erklärung großer Sprachmodelle, Teil 1
Matthew Burtell, Helen Toner, 8. März 2024
Große Sprachmodelle (LLMs), die Technologie, die Produkte der generativen künstlichen Intelligenz (KI) wie ChatGPT oder Google Gemini antreibt, werden oft als Chatbots betrachtet, die das nächste Wort vorhersagen. Aber das ist nicht die ganze Geschichte darüber, was LLMs sind und wie sie funktionieren. Dies ist der erste Blogbeitrag einer dreiteiligen Serie, in der einige Schlüsselelemente der Funktionsweise von LLMs erläutert werden. In diesem Blogbeitrag geht es um das Vortraining – den Prozess, durch den LLMs lernen, das nächste Wort vorherzusagen – und warum es so überraschend leistungsstark ist.