KI-Funktionen lokal auf dem PC – ohne Internetverbindung? Dies ist mit den neuen PCs mit Qualcomm CPU möglich, die eine neue Gattung von PCs darstellen (Neural Processing Unit (NPU) mit 40+ TOPS (Trillions of Operations Per Second)).
Mit Windows11 24H2 auf der ARM-Plattform beginnt die Ära der lokalen KI-Möglichkeiten. Auch die neuen Surface PCs kommen mit ARM-Architektur. Es wird spannend zu sehen, wie leistungsstark und gleichzeitig energieeffizient die neuen PCs mit den angekündigten nativen ARM-Programmen sein werden (verfügbar ab Mitte Juni 2024). Auch die Leistungsfähigkeit des neuen Emulators Prism für X86-Programme ist beeindruckend.
Insgesamt festzuhalten ist, dass für die lokale Nutzung von KI ein neuer PC notwendig ist, welcher entsprechende Anforderungen erfüllt. Bastelprojekte mit Windows 11 24H2 auf einem „normalen“ PC zeigen, dass die KI-Features so nicht funktionieren. Das bedeutet, dass Investitionen erforderlich sind, was eine Kosten-Nutzen-Betrachtung für lokale KI nach sich zieht.

Eine herausragende und zugleich brisante neue KI-Möglichkeit ist das „Recall-Feature“. Doch warum?
„Recall“ bietet die Möglichkeit, den Verlauf der Tätigkeiten auf dem PC zu durchsuchen. Auch wenn hierzu eine lokale KI genutzt wird und sich das Feature abschalten lässt, sollte man das Recall-Feature für sensible Daten kritisch hinterfragen, um die Chance zu nutzen und die Risiken abzuwägen.

Microsoft hat Copilot Studio modernisiert und verbessert. Viele Features sind nun allgemein verfügbar, darunter:

• Copilot erstellt Copilot: Neue Copiloten können nun in einem Chatfenster beschrieben (Aufgabe, Rolle, Funktion) werden, woraufhin ein entsprechender Copilot generiert wird. Dieser lässt sich z.B. durch weitere Informations- und Wissensquellen erweitern.
• Schnell starten: Vorlagen für diverse Anwendungsfälle von Microsoft Copilot
• Brücken bauen: Erweiterung der Connectoren-Bibliothek. Connectoren verbinden Microsoft und 3rd Party-Produkten und Herstellern, so dass diese von Copilot genutzt werden können.

Azure AI Services und. AI Studio das zentrale Tool zur Erstellung, Training, Anpassung und Verwaltung von AI-Lösungen. Microsoft hat diese ebenfallsweiter ausgebaut:

• Umfassend: Mehr als 1.600 KI-Modelle für unterschiedliche Anwendungszwecke
• Schnell starten: „Prompt Katalog“ mit Vorlagen und Beispiele für diverse KI-Dienste für AI Services
• Prompts besser schützen: “Prompt Shields“ sind direkt in den Azure AI Services integriert, um Angriffsszenarien zur Prompt Injection und Manipulation von Daten und Antworten abzuwehren
• Klare Kante bei Prompts: “Content Safety“ Funktionalität direkt integriert in den Azure AI Services. Hier werden Eingabe- und Ausgabefilter bereitgestellt, um mit unerwünschten Inhalten (z.B. gewalttätige Sprache, fragwürdige und illegale Inhalte) umzugehen.
• Vergleichbarkeit: Man kann die Eigenschaften und Kennwerte der unterstützten KI-Modelle nun grafisch filtern und darstellen, um sie leichter miteinander zu vergleichen.
• Übersicht: Im AI Service Hub lassen sich nun projektorientiert mehrere Objekte und Ressourcen in einer zentralen Workbench darstellen und bearbeiten.
• Kosten im Blick: Übersicht zu den AI Services Quotas; die Kennzahlen (Capacity Units, Tokens pro Minute) zur Abrechnung der KI-Dienste sind nun direkt im AI Studio einsehbar

Ein absolutes Highlight ist die Integration von GPT-4o, der bekannte ChatBot von OpenAI. Dieser kann als “KI Omni-Model“ nicht nur einen Text analysieren und verstehen, sondern die Dienste auch auf Basis eines Fotos oder einer Abbildung anbieten. Zum Beispiel könnte eine Smartphone-App die Speisekarte in einem Restaurant fotografieren und Fragen wie „Welche Gerichte sind glutenfrei?“ oder „Zeige mir alle Pasta-Gerichte“ beantworten.

Ein klares, mehrfaches Statement von Microsoft auf der Build 2024 ist, dass Sicherheit im Kontext mit künstlicher Intelligenz, Machine Learning und Deep Learning sehr ernst genommen wird. Themen wie IT- und Datensicherheit, Compliance und Verantwortung werden großgeschrieben und die Verzahnung mit dem Schutz, Strukturierung und Bereitstellung von Daten betont. Hier legen wir Ihnen den Vortrag Inside AI Security von Mark Russinovich ans Herz.
Konkret erhalten AI Engineers und Administratoren die genannten Features. Microsoft Copilot und die Azure AI Services bieten immer mehr Integrationsmöglichkeiten in andere Microsoft Produkte sowie zu Produkten anderer Hersteller. Damit wachsen die Möglichkeiten, KI-Modelle auf Basis mannigfaltiger Business & Enterprise Daten aufzusetzen und zu nutzen.

Die Microsoft Build 2024 zeigt eindrucksvoll, wie KI-Technologien den Alltag und die Arbeitswelt revolutionieren können. Von leistungsstarker Hardware über innovative Features bis hin zu einem starken Fokus auf Sicherheit bietet Microsoft umfassende Lösungen, die neue Maßstäbe setzen und vielfältige Möglichkeiten für Unternehmen und Entwickler eröffnen.

Inhalt:

• Hardware-Anforderungen für lokale KI und Copilot 01:00
• Kontroverse um das „Recall-Feature“ 04:30
• Sicherheit und Verantwortung im KI-Kontext 13:55
• Neuerungen bei Copilot Studio und Azure AI Services (20:00)

Sprechende in Reihenfolge des Auftretens: Lena Keiner (Transformation Consultant), Thomas Huth (Senior Consultant), Jochen Hoffmann (Principal Consultant), Sinan Mumcu (Team Lead Transformation Consulting)

Thomas Huth, Senior Consultant und Technologie Enthusiast seit 30 Jahren; seit über 12 Jahren bei der AppSphere AG. Thomas‘ Schwerpunkte waren immer schon Microsoft Active Directory Services, Identity- Management und IT-Security-Themen. Im Zuge der KI-Transformation ist er nun auch mit der Einschätzung der KI-Chancen und -Risiken beschäftigt und hier insbesondere mit Security für und mit KI.