HNBK »
Fortbildungsreihe zur lokalen KI-Infrastruktur am Heinz-Nixdorf-Berufskolleg gestartet
Am Heinz-Nixdorf-Berufskolleg in Essen ist gestern die Fortbildungsreihe „Aufbau einer souveränen KI-Infrastruktur zum Betrieb von LLMs(Large Language Models zu deutsch: große Sprachmodelle)“ erfolgreich gestartet. Veranstaltet wurde die Weiterbildung von Coderizon aus Bochum. Die Veranstaltung richtet sich an Bildungseinrichtungen und Organisationen, die Künstliche Intelligenz unabhängig und vollständig innerhalb ihrer eigenen technischen Infrastruktur betreiben möchten.
Der Startschuss für den Aufbau einer eigenen KI-Infrastruktur am Heinz-Nixdorf-Berufskolleg ist gefallen und die technischen Grundlagen wurden bereits geschaffen, um künftig leistungsfähige Open-Source-Sprachmodelle datenschutzkonform auf eigener Hardware zu betreiben. Lehrer Marwick Sembritzky erläutert dazu: „Eigene Server und lokale KI-Modelle ermöglichen es uns, neue KI-Technologien frühzeitig, praxisnah und unter maximaler Kontrolle zu testen und datenschutzkonform einzusetzen.“. Dies bedeutet auch, dass KI-Anwendungen genutzt werden können, ohne dass vertrauliche Daten an externe Cloud-Dienste weitegeben werden.
Im Mittelpunkt stand zunächst die sogenannte Container-Architektur. Dabei werden die einzelnen Komponenten der KI – vom Sprachmodell über die Dokumentenverarbeitung bis hin zur Chat-Oberfläche – als voneinander unabhängige Dienste betrieben. Diese modulare Struktur erleichtert Wartung, Updates und Erweiterungen und bildet den Standard moderner KI-Infrastrukturen.
Neben der Einrichtung der grundlegenden Docker-Umgebung lernten die Teilnehmenden das Zusammenspiel zentraler Komponenten wie vLLM als Inferenzserver, Qdrant als Vektordatenbank, Apache Tika zur Dokumentenextraktion sowie Open WebUI als Benutzeroberfläche kennen. Auch Themen wie Netzwerkkonfiguration sowie Backup- und Wiederherstellungskonzepte wurden bereits behandelt.
Mit der geschaffenen technischen Basis beginnt nun der eigentliche Aufbau der KI-Plattform. In den kommenden Workshop-Einheiten werden Sprachmodelle eingerichtet, mit schuleigenen Dokumenten verknüpft und für den praktischen Einsatz am Heinz-Nixdorf-Berufskolleg vorbereitet.
Text: Coderizon, FOR, SAR Fotos: Coderizon
