Eine der großen Neuerungen in iPadOS 14 ist die Möglichkeit, mit dem Apple Pencil auch Formularfelder, beispielsweise im Web auszufüllen, Adressen in die Suchleiste von Safari einzugeben, Textnachrichten zu verfassen oder mit der eigenen Handschrift in Word-Dokumenten zu schreiben. Apple nennt die Funktion, die die Eingaben anschließend dann in gedruckten Text umwandelt "Scribble". Zur Entwicklung der neuen Funktion hat sich nun Apples Software-Chef Craig Federighi in einem Interview mit den Kollegen von Popular Mechanics geäußert und dabei auch gleich noch den einen oder anderen Einblick in ihre Funktionsweise geliefert.

Federighi erklärt, dass die Basis für Scribble eine vorausgegangene Datensammlung der verschiedensten Handschriften der Nutzer gewesen ist. Hierzu habe man Nutzer auf der ganzen Welt gewinnen können und sie mit dem Apple Pencil Schriftproben abgeben lassen. Nur auf diese Weise sei es möglich gewesen, eine zuverlässige Handschriftenerkennung zu gewährleisten. Das bloße Analysieren von handgeschriebenen Inhalten reichte für Apples Ansatz nicht aus, da aus Datenschutzgründen auch bei Scribble die komplette Analyse und Verarbeitung auf dem Gerät selbst erfolgt. Also benötigte man einen Weg, der direkt beim Ziehen der Linien, also beim Formen der Buchstaben erkennen kann, welches Wort gerade geschrieben wird.

"When it comes to understanding (handwriting) strokes, we do data-gathering. We find people all over the world, and have them write things. We give them a Pencil, and we have them write fast, we have them write slow, write at a tilt. All of this variation. [...] If you understand the strokes and how the strokes went down, that can be used to disambiguate what was being written. [...] It’s gotta be happening in real time, right now, on the device that you’re holding,” Federighi said. “Which means that the computational power of the device has to be such that it can do that level of processing locally."

Das komplette Interview ist durchaus einen Abstecher wert und kann bei den Kollegen von Popular Mechanics eingesehen werden.

YouTube Direktlink

Eine Funktion, die sich viele Besitzer eines iPad (Pro) und eines Apple Pencil schon lange wünschen, ist eine systemweite und vor allem zuverlässige Handschrifterkennung für den Eingabestift. Mit iPadOS 14 wird Apple diese nun endlich liefern, wie auf der WWDC-Keynote eindrucksvoll demonstriert wurde. Da sich inzwischen ja auch die erste Beta von iPadOS 14 auf den Geräten der Entwickler befindet, gibt es nun auch erste Erfahrungsberichte aus der freien Wildbahn. Und wie es aussieht, hat Apple mit dem, was man auf der WWDC gezeigt hat, nicht übertrieben.

So berichten die Kollegen von MacRumors, dass die "Scribble" genannte Funktion in der Tat bereits in der ersten Beta ausgesprochen zuverlässig und beeindruckend funktioniert. Sei es bei der Nutzung in der Notizen-App, in der Eingabeleiste von Safari oder beim Kopieren des handeschriebenen Textes in andere Apps inkl. Umwandlung in Maschinenschrift.

Die Kollegen haben ihre Erfagrungen in dem unten einbetetteten Video festgehalten und dürften damit eine Menge Vorfreude bei der eingangs erwähnten Benutzergruppe schüren.

YouTube Direktlink

Erneut sind zwei interessante Entdeckungen aus iOS/iPadOS 14 ans Licht gekommen. Wie die Kollegen von 9to5Mac berichten, soll der Safari-Browser über eine eingebaute Übersetzungsfunktion verfügen. Hierdurch wäre es möglich, eine geöffnete Webseite in eine beliebige Sprache übersetzen zu lassen, ohne hierfür eine Drittanbieter-App bemühen zu müssen. Dies kann auf Basis des gesichteten Codes sowohl manuell als auch automatisch. Anscheinend prüft Apple über Safari hinaus auch die Ausweitung der Übersetzungsfunktion auf andere Apps, wie etwa den Beschreibungstext im AppStore. Basieren wird die Funktion auf der Neural Engine. Offen ist aktuell, ob sie ausschließlich mit Onlineverbindung oder auch offline funktioniert. Sollte eine solche Funktion tatsächlich in iOS/iPadOS 14 integriert werden, kann man wohl davon ausgehen, dass sie auch für macOS kommen wird.

Darüber hinaus soll Apple mit iPadOS 14 auch eine nahezu vollständige Unterstützung des Apple Pencil für seinen Safari-Browser planen. Hierdurch soll es unter anderem möglich sein, Eingabefelder auszufüllen oder Anmerkungen in Webseiten zu schreiben.

Offiziell dürften die neuen Funktionen von ?iOS/iPadOS 14? auf der virtuellen Keynote zur Eröffnung der WWDC am 22. Juni präsentiert werden. Im Anschluss daran dürfte dann auch eine erste Betaversion für Entwickler zur Verfügung stehen.

Auch wenn Steve Jobs (zumindest beim iPhone) ein strikter Gegner eines Stylus, also eines Eingabestiftes war, hat sich der Apple Pencil spätestens in seiner zweiten Version zu einem beliebten Zubehör für das iPad entwickelt. Endlich gibt es einen Eingabestift, der so gut wie keine Verzögerung mehr besitzt und somit auch das handschriftliche Schreiben auf dem Tablet ermöglicht. Bislang ist der Pencil einzig und allein in weiß zu haben, ein Umstand, der sich jedoch demnächst ändern könnte. So berichtet der Leaker Mr. White, dass eine kommende Generation des Apple Pencil auch in schwarz auf den Markt kommen könnte. Zwar gibt es aktuell keinerlei Gerüchte zu einer neuen Apple Pencil Generation eine schwarze Variante dürfte jedoch von dem einen oder anderen Nutzer willkommen aufgenommen werden. Denkbar wäre beispielsweise, dass Apple eine neue Generation gemeinsam mit dem erwarteten neuen iPad Pro mit Mini-LED Display auf den Markt bringt.

New Apple Pencil is Black????

— Mr·white (@laobaiTD) June 2, 2020

Auch wenn ich lange ein Gegner von Eingabestiften war muss ich gestehen, dass das iPad Pro in Kombination mit dem Apple Pencil wirklich einen großen Schritt in Richtung eines Produktivgeräts gemacht hat. Diese Kombination soll mit iOS/iPadOS 14 nun offenbar weiter ausgeweitet werden. So soll das Update ein neues Framework namens PencilKit enthalten, durch das es möglich werden soll, jedes Textfeld mit dem Apple Pencil auszufüllen. Der handgeschriebene Text soll dann durch das Framework mithilfe von Optical Character Recognition (OCR) in Maschinentext umgewandelt werden. Die Qualität hängt dabei natürlich von der Deutlichkeit der eigenen Handschrift ab. Bislang war das Schreiben mit dem Apple Pencil lediglich in bestimmten Apps, nicht jedoch beispielsweise beim Ausfüllen von Webformularen oder dem Erstellen von iMessages möglich.

Den Informationen von MacRumors zufolge soll PencilKit mit jedem Eingabefeld in iOS bzw. iPadOS funktionieren. Tippt man mit dem Pencil ein solches Feld an, wird offenbar ein schwebendes Fenster erscheinen, in dem dann mit dem Stift geschrieben werden kann. Es kann zudem davon ausgegangen werden, dass auch Drittanbieter-Apps auf PencilKit zugreifen können, wenngleich dieser Zugriff zunächst eingeschränkt sein könnte.

Das Apple-Ökosystem ist beinahe schon legendär. Beinahe alle Produkte aus Cupertino spielen irgendwie zusammen - und das sogar meist recht gut. Diese Zusammenhänge zeigt Apple nun auch noch einmal in zwei neu veröffentlichten Videos, in denen die kreativen Köpfe hinter den Apple TV+ Serien "Dickinson" und "For All Mankind" zeigen, wie sie mithilfe des iPad Pro und des Apple Pencil die Plakate für Serien erstellt haben. Janice Sung erklärt dabei, wie dies im Falle von "Dickinson" geschehen ist und welche kreativen Techniken sie angewendet hat.

YouTube Direktlink

Das Designer- Und Illustratoren-Duo Justin und Paige von Phantom City Creative zeigt seinerseits in einem weiteren Video den ähnlichen Prozess am Beispiel von "For All Mankind".

YouTube Direktlink

Ein schneller sonntagnachmittaglicher Blick rüber zu Amazon. Wer aktuell noch auf der Suche nach einem günstigen Angebot für den Apple Pencil der 2. Generation ist, findet dort momentan ein echtes Schnäppchen (mit Dank an Schröder!). So kann man die aktuellste Version des iPad-Eingabestifts aus Cupertino bei Amazon derzeit mit einem Rabatt von € 46,- erwerben und zahlt dementsprechend statt der regulär geforderten € 135,- lediglich noch € 89,-. Das ist der bisher niedrigste Preis, den man für den Apple Pencil der zweiten Generation jemals zahlen musste. Der folgende Link führt direkt zum Angebot bei Amazon: Apple Pencil, 2. Generation

Nein, ich bringe in diesem Artikel nicht schon wieder das bereits heute Vormittag eingebettete Video zur Präsentation des allerersten iPhone, auf der damals noch Steve Jobs einem Stylus für das Smartphone aus Cupertino eine mehr als deutliche Absage erteilte. Und wenn ich ehrlich bin, kann ich mich nach wie vor nicht so mit dem Gedanken anfreunden, dass Apple sein iPhone wirklich mit einer Unterstützung für den Apple Pencil ausstatten wird. Allerdings rührt dieser Glaube vor allem von meiner subjektiven Sicht und der Art und Weise wie ich das iPhone nutze her. Es ist halt ein Gerät, auf dem man kurz Dinge erledigt, wie beispielsweise Mails checkt, ein Foto knipst oder im Internet surft. All dies sind Dinge, die sich hevorragend mit dem Finger erledigen lassen. Ganz so, wie es auch Steve Jobs seinerzeit erklärte.

Auf dem iPad sieht dies ein wenig anders aus, weswegen ich dort einen Pencil für bestimmte Anwendungsfälle als durchaus sinnvoll erachte. Das iPad hat sich immer mehr zu einem echten Produktiv-Werkzeug, vor allem für kreative Menschen entwickelt. Auch im Unternehmensumfeld hält das Gerät immer weiter Einzug und dient dort als Notizblock oder als Oberfläche für schnelle Zeichnungen und/oder Skizzen. Gerade mit der Einführung der aktuellen Generation des Apple Pencil, der kaum spürbaren Latenz und den cleveren, neu hinzugefügten Funktionen, ist die Kombination aus iPad und Apple Pencil für viele Nutzer in den genannten Bereichen (und natürlich auch den einen oder anderen darüber hinaus) ein echter Mehrwert.

Warum also sollte Apple seinen Pencil auch auf dem iPhone unterstützen? Nun, ich bin mir sicher, dass es auch eine bestimmte Anwendergruppe gibt, die ihn auch dort sinnvoll zum  Einsatz bringen könnte. Dies betrifft vor allem die Max-Version des iPhone, dessen Display im kommenden Jahr gerüchtehalber abermals auf dann 6,7" anwachsen soll. Die Probleme, die Steve Jobs einst ins Feld führte ("You have to get 'em and put 'em away, you lose 'em. Yuck!") blieben allerdings auch dann nach wie vor bestehen.

Ich glaube also nach wie vor nicht wirklich an einen Stylus für das iPhone. Es gibt jedoch ein kleines Indiz, welches aus meiner Sicht durchaus dazu taugt anzunehmen, dass Apple diesen doch in der Schublade hat. Und zwar ist dies der bereits für die neuen iPhones bestätigte Wegfall von 3D Touch. Für diese Funktion benötigte Apple auf dem iPhone eine spezielle Schicht zwischen dem Displayglas und dem eigentlichen Display, welche den Abstand zwischen diesen beiden Komponenten misst und dadurch die Druckintensität der Eingabe ermittelt.

Auf dem iPad hat Apple diese Technologie nie zum Einsatz gebracht, was sicherlich auch an der Größe des Displays und der damit schwieriger zu implementierenden Technik liegt. Der dort unterstützte Apple Pencil reagiert jedoch ebenfalls auf Druckintensität und kann darauf basierend beispielsweise unterschiedlich dicke Striche zeichnen. Eine Kombination aus gleichzeitiger Nutzung von 3D Touch und Apple Pencil dürfte damit ausgeschlossen sein.

Stellt man sich also die Frage, warum Apple die erst mit dem iPhone 6s vor vier Jahren eingeführte Technologie 3D Touch bereits in diesem Jahr wieder aus seinem Smartphone entfernt und durch Haptic Touch ersetzt, wird es schwierig, eine logische Antwort zu finden. Zwar wird auch der recht hohe Preis für die 3D Touch Komponente im Display immer wieder als Grund ins Feld geführt, allerdings mag ich hieran nicht so recht glauben. Meine Vermutung lautet daher, dass Apple tatsächlich in diesem Jahr das iPhone mit einer Unterstützung für den Apple Pencil ausstattet und aus diesem Grunde 3D Touch entfernt.

Wie aber würdet ihr zu einem Apple Pencil am iPhone stehen? Würdet ihr ihn nutzen oder seht ihr es eher wie Steve Jobs? Die Kommentare und die folgende Umfrage freuen sich über eure Stimme!