Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik

Bachelorarbeit aus dem Jahr 2024 im Fachbereich Informatik - Kstliche Intelligenz, Note: 1,7, Technische Universit酹 Carolo-Wilhelmina zu Braunschweig (Institut f Partikeltechnik), Sprache: Deutsch, Abstract: Das Ziel dieser Arbeit ist es, die Potentiale und Grenzen von Transformer-Modellen in der Verfahrenstechnik aufzuzeigen. Dies soll durch eine systematische Analyse und Bewertung der Modelle erreicht werden, einschlie lich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der 鈁erprung der Ergebnisse mit Hilfe anderen Modellen und fachlichen Referenzen. Durch eine systematische Analyse und Bewertung der Modelle, einschlie lich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Verifizierung der Ergebnisse durch Vergleiche mit anderen Modellen und Expertisen, sollen praxisnahe Empfehlungen f den Einsatz dieser Technologien abgeleitet werden. Diese Empfehlungen sollen nicht nur die St酺ken der Transformer-Modelle hervorheben, sondern auch konkrete Ans酹ze zur 鈁erwindung der identifizierten Grenzen aufweisen. Die rasante Entwicklung der Kstlichen Intelligenz (KI), insbesondere im Bereich der Natural Language Processing (NLP)-Technologien, hat die Art und Weise, wie wir Informationen verarbeiten, verstehen und generieren, grundlegend ver鄚dert. Im Mittelpunkt dieser Fortschritte stehen gro e Sprachmodelle (Large Language Models, LLMs), die auf tiefen neuronalen Netzen basieren und h酳fig mit Hilfe von Transformatorarchitekturen entwickelt werden. Mit Hunderten von Millionen bis zu Milliarden von Parametern, die mit gro en Mengen von Textdaten vortrainiert wurden, haben LLMs wie GPT-4 und LLaMA beeindruckende F鄣igkeiten bei der Generierung menschen鄣nlicher Texte gezeigt. Diese Modelle sind in der Lage, komplexe semantische und kontextuelle Informationen zu verarbeiten, was sie zu wertvollen Werkzeugen in einer Vielzahl von Anwendungsbereichen macht, von der automatischen Textgenerierung bis hin zur Unterstzung von Bildungsprozesse