Ernst Jandl Dozentur für Poetik:

Elfriede Czurda

"Sprache, Zeichen und Denken"

30.4.2014

1) "Mental imagery of speech" (David Poeppel)

Den im Zuge der Rekonstruktion von Strickers und Dodges frühen Studien schon angesprochenen Bereich der artikulatorischen und auditiven Sprachproduktion (Rede) untersucht in jüngster Zeit auch David Poeppel. Mit den Mitteln heutiger neurophysiologischer Forschung erforscht er anhand vorgestellter Rede (artikulatorische Vorstellungen) die dabei involvierten motorischen und perzeptuellen Anteile. Dies biete sich besonders an, da bei vorgestellter Rede kinästhetische Empfindungen und auditorische Konsequenzen zugleich auftreten und auch motorische mit perzeptueller Aktivität interagiere. Dies habe zwei argumentative Folgen:

• "(1) Two distinct top-down mechanisms, memory retrieval and motor simulation, exist to induce estimation in perceptual systems.

• (2) Motor simulation is sufficient to internally induce the representation of perceptual changes that would be caused by actual movement (perceptual associations); however, this simulation process only has modulatory effects on the perception of external stimuli, which critically depends on context and task demands." (Poeppel 2012)

Damit greift Poeppel die von Dodge und Stricker bereits untersuchte artikulatorische Seite des Vorstellens von Rede-Produktion ebenso auf, wie er die Frage nach der kontextuellen Einbettung solcher nur vorgestellter artikulatorischer Reize neu stellt. Poeppels Ansatz kann als eine ergänzende Revision zum (multi-)modalen Modell, das das wahrnehmende Erleben während des Vorstellens an modalitätsspezifische Repräsentation (zum Überblick siehe: Kosslyn et al. 2001) bindet, gesehen werden. Denn er fordert, dass auch der bislang kaum verstandene Top-down-Prozess eines induktiven Schlusses untersucht werden möge, da dieser neurale Aktivität mit mentaler Vorstellung verknüpfen könne. (Poeppel 2012, 314)

Dadurch wendet sich Poeppel gegen die verbreitete assoziationistische Auffassung, dass Vorstellen durch Abrufprozesse aus der Erinnerung erfolge, indem perzeptuelle Erfahrungen simuliert würden durch eine Rekonstruktion perzeptueller Information, die in modalitätsspezifischen Teilen des Cortex gespeichert wären (Kosslyn, 1994, 2005; Kosslyn et al.1994). Um die interne Transformation von motorischer Simulation zu somatosensorischer Abschätzung ("somatosensory estimation") zu erklären, greift Poeppel auf das von Grush et al. entwickelte Modell von "internal forward models" zur Ämulation zurück:

"The core presupposition is that the neural system can predict the perceptual consequences by internal simulating a copy of a planned action command (the efference copy). Mental imagery has been linked to the concept of internal forward models by the argument that the subjective feeling in mental imagery is the result of the internal estimation of the perceptual consequences following the internal simulation of an action (Grush, 2004). (ZIT. bei Poeppel 2012, 2)

Zusammenhängend mit der Grush'schen Hypothese nimmt Poeppel an, dass die kinästhetische Empfindung beim motorischen Vorstellen (insgesamt und bei der Produktion von Sprachlauten im Besonderen) eine Folge der somatosensorischen Abschätzung sei. Diese Abschätzung werde aus einer internen Simulation abgeleitet, welche ihrerseits den dynamischen Verlauf von motorischer Simulation und Abschätzung spiegle. (Poeppel 2012, 2) Der Ansatz aus kombinierter motorischer Simulation und Folgenabschätzung unterscheide sich vom direkten Simulations-Ansatz (Aufrufen von Erinnerung) dadurch, dass ihm zufolge eine Transformation zwischen dem motorischen und dem somatosensorischen System erforderlich sei.

Bezogen auf die Vorstellung der Produktion von Sprachäußerungen geht Poeppels Fragestellung noch darüber hinaus: "can a motor simulation deliver perceptual consequences that extend to other sensory domains (such as visual and auditory) as well?" (Poeppel 2012, 2) Bei tatsächlich ausgeführter Sprachproduktion würde auf der Basis der Kombination von motorischer Simulation und Folgenabschätzung der somatosensorische Aspekt zwischen dem motorischen und dem auditorischen, perzeptuellen Anteil vermitteln.

Bei nur vorgestellter, innerer Sprachproduktion schlägt Poeppel nun abweichend davon vor: "In the case of the mental imagery of speech, we propose that the quasi-perceptual experience of articulator movement and the subsequent auditory percept are induced by the same sequential estimation mechanism. However, the 'cancellation' deriving from somatosensory and auditory feedback, which is generated by the overt outputs during production, is absent in the imagery case […]. Therefore, similar to the case of motor imagery (Jeannerod, 1994, 1995), the feeling of articulator movement is the result of residual somatosensory representation resulting from motor simulation; the subsequent auditory perceptual experience, we suggest, is the residual auditory representation from the second estimation stage." (Poeppel 2012, 3)

Dadurch sei die Vorstellung von Sprachäußerungen ein Paradefall für einen top-down-Prozess einer sensorisch-motorischen Integration, der motorische Simulation mit sequentieller perzeptueller Abschätzung vereine. Den genannten Transformationsprozess stellt sich Poeppel so vor: "The entire transformation process is carried out in a continuous manner, beginning with motor simulation, then somatosensory estimation, and ending with modality-specific perceptual estimation."

Grush, dem Poeppel folgt, sieht mit seiner "emulation theory of representation" auch Erklärungsansätze für höhere kognitive Leistungen, unter ihnen auch Sprachleistungen, gelegt.

Dennoch bleibt sein Modell spekulativ mit Blick auf solche höheren Leistungen, auch wenn er andere (Langacker, Talmy, Lakoff, Johnson) als Gewährsmänner der Vergleichbarkeit seines Ansatzes mit Ansätzen aus der kognitiven Linguistik nennt. Es gehe, wie in der Linguistik seit je, um die die Erklärung von sprachlicher Kompetenz als Verknüpfung von "Form" und "Bedeutung", wobei unter Form phonologische Einheiten verstanden werden und unter Bedeutung die Fähigkeit, Repräsentationen der Umwelt zu bilden, die der direkten Wahrnehmung der Umwelt ähnlich seien:

"[Cognitive linguists] have also produced a good deal of important work in this area, all of it arguing forcefully that the semantic import of linguistic expressions consists in representations whose structure mimics, because derived from, representational structures whose first home is behavior and perception – exactly the sorts of representational structures made available by the various emulators described here." (Grush, 2004, 395)

2) Grounded Cognition

In der jüngeren Literatur zum Verhältnis von Sprache und Kognition hat sich die gegenwärtig in den Kognitionswissenschaften als via regia geltende Vorstellung des Embodiment und der grounded cognition Bahn gebrochen. Sprachliche Prozesse seien wie alle anderen kognitiven Prozesse an den Umstand der menschlichen Physis und der daraus herrührenden Interaktion mit der Umwelt nicht nur gebunden, sondern auch davon determiniert.

Dieser in jüngerer Zeit prominente Ansatz einer grounded cognition weist die Auffassung zurück, dass Kognition als computationelle Verarbeitung amodaler Symbole erfolge und stellt stattdessen die modalen Systeme für Wahrnehmung, Handeln und Introspektion des Menschen in den Mittelpunkt: "grounded cognition proposes that modal simulations, bodily states, and situated action underlie cognition." (Barsalou 2008, 617ff.) Das in sich heterogene Feld der grounded cognition setzt unter anderem auf die Rolle, die situierte Simulation für Kognition spielt: Simulation sei das Wiederaufrufen von ursprünglich der Wahrnehmung, dem motorischen Bereich oder der Introspektion zugehörigen Zuständen, die während des Umgangs mit der Welt als Erfahrungen erworben worden sind.

Anders, als die darauf sich beziehende Kritik es annimmt (Pylyshyn 1973), seien "grounded theories" jedoch keine Aufzeichnungssysteme (z.B. Kameras), sondern auch zur Interpretation von wahrgenommenen Daten fähig. Überhaupt seien "grounded theories" weder vollständig von Körperzuständen noch von voll ausgestalteten Simulationen abhängig, wie Kritiker dies behaupteten. Denn Körperzustände seien nicht Voraussetzung für kognitive Akte, wohl aber häufig eng verbunden damit, Simulationen seien zentral für "grounded theories", erzeugen aber nur selten, falls überhaupt, tatsächliche Erfahrung.

Die Rolle, die in "grounded theories" der natürlichen Sprache zugewiesen wird, ist gespalten. Zum einen seien viele bisherige Ansätze zu einer Theorie der Sprache eng verknüpft mit den von den Vertretern der "grounded theories" zurückgewiesenen amodalen Theorien. Auch wenn in diesen traditionellen, computationellen Ansätzen Unterschiede zwischen amodalen Symbolen und sprachlichen Formen (z.B. Wörtern oder Satzbau) angenommen werden, so ginge man doch von engen Verknüpfungen zwischen Wort und Begriff, zwischen Prädikaten, die Konzepte repräsentieren , und Wörtern aus. Diese Verknüpfungen reichten bis zu Eins-zu-eins-Relationen.

Propositionen, die als Bedeutungen von Sätzen und Texten konstruiert würden, seien eng verbunden mit der sprachlichen Form dieser Sätze und Texte (z.B.: Kintsch & van Dijk, 1978; van Dijk & Kintch, 1983). Analog dazu, wie Sprachverstehen als sequentielles Verarbeiten von Wörtern in Sätzen vor sich gehe, nehmen die Vertreter computationeller Ansätze an, dass konzeptuelles Verstehen ein sequentielles Abarbeiten von amodalen Symbolen in listen- oder satzartigen Strukturen sei. Diese Auffassungen werden von Vertretern der "grounded theories" zurückgewiesen.

Andererseits nehmen Vertreter der "grounded theories" an, dass aus natürlichen Sprachausdrücken abgeleitete sprachliche Formen, die nicht amodale Symbole, sondern so genannte "perceptual symbols" (siehe unten) seien, eine besondere Rolle in der von ihnen "situierte Simulation" genannten Auffassung spielen. Unter situierter Simulation versteht Barsalou den Umstand, dass es nicht zwei unterschiedliche Module für sensomotorische und konzeptuelle Prozesse gäbe, sondern dass auch bei konzeptuellen Prozessen (um z.B. Kategorien zu repräsentieren) sensomotorische Zustände wiederaufgerufen ("re-enactment") würden.

Obwohl Wahrnehmung und Konzeptualisierung ähnlich seien, bestünden dennoch Unterschiede – bottom-up-Mechanismen beherrschten sensomotorische Prozesse, bei Konzeptualisierungen seien top-down-Prozesse wichtiger [Barsalou 2003, 525])

Sprachverstehen stellen sich die Theoretiker der "grounded cognition" so vor: "We assume that when a word is perceived, the linguistic system becomes engaged immediately to categorize the linguistic form (which could be auditory, visual, tactile, etc.). […] Once the word has been recognized, we assume that associated linguistic forms are generated as inferences, and as pointers to associated conceptual information." (Barsalou in Graesser, 2)

Damit zusammenhängend erklären Barsalou und Kollegen Sprachverstehen und kognitive Leistungen allgemein auf der Basis von "perceptual symbols": "Perceptual symbols are the residues of a perceptual experience, stored as patterns of activation in the brain. Because attention is limited, perceptual symbols are typically schematic, rather than being akin to high-resolution video clips or high-fidelity sound clips. However, unlike amodal propositions, perceptual symbols bear an analog relationship with their referents. Barsalou hypothesized that perceptual symbols are used in perceptual simulations that make up human cognitive processes. (Zwaan et al 2002, 168)

Es sollen sensomotorische Aspekte von "mental imagery" mit Hilfe der so genannten "perceptual activity theory" (Thomas, 1999) erklärt wreden. Dieser Auffassung zufolge gibt es kein "Ding" im Gehirn, das ein Wahrnehmungsresultat oder ein "Bild" "ist": Stattdessen bestehe Wahrnehmungserfahrung aus einer fortgesetzten schemageleiteten Aktivität zur Erkundung der Umwelt. "Mental imagery" wird ebenfalls nicht als das Endprodukt von (visueller) Wahrnehmung betrachtet (kein "inneres Bild" oder eine Abbildung äußerer Stimuli wird hier angenommen). Stattdessen verknüpft Thomas "mental imagery" eng mit der Aktivität von perzeptueller und motorischer Erkundung der Umgebung.

Es wird angenommen, dass Personen immer dann eine auch phänomenale Erfahrung eines "mental image" haben, wenn ein "Schema", das nicht direkt zur Erkundung der momentanen Umgebung relevant ist, die Kontrolle über "the body‘s exploratory apparatus" übernimmt. "We imagine, say, a cat, by going through (some of) the motions of examining something and finding that it is a cat, even though there is no cat (and perhaps nothing relevant at all) there to be examined. Imagining a cat is seeing nothing-in-particular as a cat." (Ishiguro, 1967).

Deshalb habe die "perceptual activity theory" keine Schwierigkeiten mit der Annahme, dass auch spezifische Wahrnehmungsmechanismen beim Formen von Vorstellungsbildern beteiligt sind: Schemata und Systeme aus dem perzeptuellen Bereich unterstützen zusammen tatsächliche Wahrnehmungen und Vorstellungen gleichermaßen.

Weitere Details zu Funktion und Beschaffenheit dieser perceptual symbols bleiben Zwaan et al allerdings schuldig.

3) Dual Coding Theory (Sadoski/Paivio)

Mit dieser Auffassung der "grounded theories" in Einklang stehen einige Ansätze der kognitiven Linguistik, denen zufolge Elemente der Syntax und Semantik natürlicher Sprachen in Komponenten der Erfahrung verankert seien (z.B. Pfade, räumliche Relationen, Kräfte und Dynamik etc.) Insgesamt nehmen manche Vertreter der "grounded theories" zwei grundlegende Systeme kognitiver Leistungen an: ein sprachliches System und ein in den unterschiedlichen Modalitäten und z.T. multimodal verankertes System.

Beide Systeme interagieren dieser Auffassung zufolge auf verschiedene Weisen miteinander. Je unterschiedlich gewichten Vertreter einzelner Sub-Theorien innerhalb der "grounded theories" die Rolle des sprachlichen Systems. So seien z.B. der Dual Coding Theory (Paivio 1971, 1986) zufolge höhere kognitive Leistungen in zwei unterschiedlichen Systemen verankert (im sprachlichen und im modalen), wobei das sprachliche System hierbei das dominierende sei. Anhänger der Dual Coding Theory nehmen an, dass "mentale Repräsentationen" die Eigenschaften aus den zugehörigen Wahrnehmungen in den unterschiedlichen Sinnesmodalitäten beinhalten, anstatt amodal und abstrakt zu sein.

Diese modalitätsspezifischen "Repräsentationen" können sprachlich sein (abgeleitet aus wahrgenommener Rede oder Schrift) oder aber nichtsprachlich, nach Art von "Vorstellungsbildern" unterschiedlichster Modalitäten (visuell, auditorisch, taktil, gustatorisch, olfaktorisch etc.). (Sadoski/Paivio 2001, 4f.) Diese generelle Bifurkation der kognitiven Prozesse in sprachliche und nicht-sprachliche Anteile treffe auch auf das Sprachverstehen an sich zu: "The most basic assumption of DCT [Dual Coding Theory] is that cognition in reading and writing consists of the activity of two separate coding systems of mental representation, one system specialized for language and one system specialized for dealing with nonverbal objects and events.

Mental representations refer to internal forms of information used in memory. Coding refers to the ways the external world is captured in those internal forms. The activation of representations within and between the systems is referred to as processing. Through experience, we develop a remarkable ability to understand and use language, based on a specialized linguistic code, as well as a remarkable ability to retain, manipulate, and transform the world around us mentally using a nonverbal code of mental images. In DCT, the linguistic coding system is referred to simply as the verbal system; the nonverbal coding system is often referred·to as the imagery system because its main functions include the analysis of external scenes and the generation of internal mental images.

These systems are organized hierarchically. The organization is sequential in the verbal system and nonsequential (e.g., spatial) in the nonverbal system, resulting in characteristically different constraints on processing. The structuring and processing of these mental representations, or encodings, is the basis of all cognition in this theory." (Sadoski/Paivio 2001, 43)

Auch Sadoski/Paivio trennen Sprache in ihre materiellen, potentiell sinnlich wahrnehmbaren Bestandteile und deren "Bedeutungs"-Aspekte. Selbstbeobachtungen hätten ihnen gezeigt, dass visuelle Bilder von Wörtern bis zu drei oder vier Buchstaben simultan vorstellbar sind (darin decken sie sich mit Dodges Ausführungen).

Sind die Wörter länger, so bestünde diesen Selbstbeobachtungen zufolge die Möglichkeit, diese a) in der Vorstellung sequentiell abzutasten, b) das Wortbild als die gesamte Wortgestalt mit unterschiedlichen Einzelteilen zu erfahren und c) das Wort auszusprechen oder zu buchstabieren, währenddessen man sich die Einzelteile sequentiell vorstellt (Sadoski/Paivio 2001, 48).

Ähnliche Limitation gälten für nicht-sprachliche Vorstellungsbilder: wenn diese eine bestimmte Komplexität hätten, erinnerten sie mehr an sehr grobkörnige Fotografien, von denen wesentliche Teile außerhalb des Fokus lägen; diese verblassten zudem schnell und müssten reaktiviert werden.

Die Sequentialität sei bei sprachlichen Vorstellungen stärker vorgegeben als bei bildhaften: Bildhafte Vorstellungsbilder könnten von verschiedenen "Blickrichtungen" abgetastet oder konstruiert werden, während es bei Vorstellungen von Wörtern oder Sprachwendungen schwieriger sei, sie von hinten nach vorne zu imaginieren.

Auch Sadoski/Paivio sprechen von Vorstellungsbildern in anderen denn der visuellen Modalität:

"We can also have organized, associated images in other modalities than the visual. As we have an 'inner eye,' so we have an 'inner ear.' We can imagine the clinking of coffee cups, or the sound of waves breaking on the shore, or the horns of taxis on city streets. These sounds can be associated in contextual hierarchies as in imagining the combined sound of a full orchestra opening Beethoven's Fifth Symphony or imagining the voice of a sports announcer over the background of a cheering crowd. Likewise, we can imagine the warmth, aroma, and flavor of a good cup of coffee; the touch of sandpaper contrasted with the touch of silk; the smell of perfume; the taste of chocolate. However, these images are typically less clear and vivid than visual imagery for most people." (Sadoski/Paivio 2001, 57)

Gerade diese (durchaus bezweifelbare) Annahme der Multimodalität von Vorstellungen deckt sich mit der als "grounded cognition" bezeichneten Theorie, der zufolge Modalität und Nicht-Modularität entscheidend seien. Dies sei beim Lesen oder Hören von alltäglichen Sprachereignissen eher selten, jedoch womöglich geradezu das Kennzeichen einer poetischen Lektüre- und Produktionshaltung: "In some cases our imagistic associations blend across modalities into a holistic, multimodal experience that reflects physical reality. Imagery in response to text descriptions can take such a multimodal, elaborate form, although it is perhaps seldom this intense for most people. However, such imagery is often reported by poets and novelists as the basis for composing." (Sadoski/Paivio 2001, 57)

Wenn es um Sprachverstehen geht, nehmen die Vertreter der Perceptual Symbol Systems Theorie (Barsalou) an, dass es genügend empirische Evidenz für ihre Theorie gäbe: Wenn z.B. Personen den Satz lesen: "Der Ranger sah den Adler am Himmel", und anschließend die die Aufgabe bekamen, Tiere auf ihnen vorgelegten Bildern zu benennen, so waren sie im Fall eines Bildes, das einen Adler mit aufgespannten Flügeln zeigte, mit ihren Antworten rascher als im Falle eines Adlers mit geschlossenen Schwingen – solche Ergebnisse seien konsistent mit der Hypothese, dass Personen beim Sprachverstehen Simulationen des Repräsentierten erzeugen.

Zwaan et al interpretieren die Ergebnisse dieser Experimente als Widerlegungen der klassischen Auffassung, dass Hörer und Leser beim Sprachverstehen sprachliche Äußerungen in propositionale, amodale Repräsentationen umwandeln (Zwaan et al 2002, 168).

Das Messen von Reaktionszeiten als Hinweis auf zugrundeliegende kognitive Vorgänge (in phänomenaler und funktioneller Hinsicht) zu deuten, scheint nicht überzeugend, vergleichbar den nicht überzeugenden Interpretationen von Reaktionszeitenmessungen bei Shepard'schen Experimenten mit Raumhaken, die als Beweis für die Existenz von visuellen Vorstellungsbildern gedeutet worden sind.

Und so scheint auch der Schluss, dass Personen während des Sprachverstehens perceptual symbols aktivieren, wenig plausibel. Plausibler, jedoch zu wenig begründet, scheint die daraus abgeleitete Folgerung, dass Repräsentationen von Bedeutung aus sprachlichem Input ein dynamischer Prozess sei, der Residuen formbarer perzeptueller Repräsentationen enthalte (Zwaan et al 2002, 170). Wieder fehlt bei solchen und ähnlichen Aufgaben die mir unerlässlich scheinende Selbstbeobachtung beim Problemlösen; zudem müssten die Aufgaben komplexer sein, um tatsächlich Aufschlüsse über Denkverläufe in Berichten von Selbstbeobachtungen zu ermöglichen.

Ähnliches wie bei den Versuchen mit den aufgespannten Schwingen eines Adlers gelte für motorische Simulationen: wenn Personen ein Wort lesen, das sich auf eine Handlung bezieht (z.B. auf motorische Handlungen, die von Kopf, Armen oder Beinen ausgeführt werden), habe dies eine Aktivierung des zugehörigen motorischen Systems zur Folge. Diese erfolgten als sehr rasche (innerhalb einiger hundert Milllisekunden) Simulationen in den zugehörigen (Kopf, Arme resp. Beine) motorischen Systemen. Ebenso hätte gezeigt werden können, dass Motorsimulationen, die von Worten ausgelöst worden waren, einen Einfluss auf so genannte "lexical decision tasks" haben (Myung et al., 2006).

Umgekehrt hätten körperliche Handlungen einen Einfluss auf das Sprachverstehen. Eine bestimmte körperliche Handlung auszuführen, habe einen günstigen Einfluss auf die Zeit, die es braucht, um eine damit korrelierte sprachliche Beschreibung einer Handlung zu verstehen, versus einen ungünstigen Einfluss auf die sprachliche Beschreibung einer nicht korrelierten Handlung (Barsalou 2008, 628) Leser und Hörer produzierten zudem Simulationen von Bewegungen im Raum, wenn sie Texte lesen, auch bei nur implizierter Bewegung in einer fiktiven Geschichte (Barsalou, 629). Wenn bestimmte motorische Areale mittels transcranialer Magnetstimulation (TMS) ausgeschaltet werden, so werde das Verstehen von zugehörigen Sprachäußerungen beeinflusst – dies wäre, so die Deutung der Ergebnisse, nicht der Fall, wenn solche auf Sensomotorik beruhenden Simulationen nur epiphänomenale wären. (Barsalou, 632)

Allerdings gibt es auch in den Kognitionswissenschaften eine gegenläufige Interpretationen der empirischen Befundlage, die angeblich für "Embodiment" und "grounded cognition" spricht : Mahon und Caramazza (2008) nehmen an, dass der Großteil der empirischen Ergebnisse zwar nicht gegen, aber auch nicht für eine starke Auffassung von Embodiment (dass Verstehen motorische und sensorische Simulation sei) spricht. Stattdessen nehmen sie an, dass sensorische und motorische Aktivität zwar häufig, wie in den empirischen Studien offenkundig, konzeptuelle Prozesse begleite, es jedoch aus den Ergebnissen dieser Experimente nicht eindeutig herleitbar sein, dass senso-motorische Aktivität tatsächlich konzeptuelle Prozesse verursache.

Mahon und Caramazza schlagen eine zwischen verkörperter und nicht verkörperter, amodaler Erklärung stehende Auffassung vor. Sie verknüpfen die Auffassung, dass Konzepte abstrakt und symbolisch seien mit der Ansicht, dass sensorische und motorische Aspekte Instantiierungen von konzeptuellen Prozessen seien, die online erfolgen.

4) Mark Changizi

Vermutungen über das Entstehen von Sprache und Schrift bleiben naturgemäß höchst spekulativ. Eine in unserem Zusammenhang interessante, rezente Hypothese über den Ursprung der Schrift (in sehr vielen verschiedenen Kulturen über die Zeiten hinweg) widerspricht der bisher verbreiteten Annahme, dass sich die Gestalt der einzelnen Lettern der phonetischen Buchstabenschrift den Erfordernissen der Werkzeuge und des Trägermaterials (Stilus und Tontafeln der Sumerischen Keilschrift) verdankt und später ihrer komfortablen Verfertigbarkeit durch die schreibende Hand.

Im Gegensatz dazu nimmt der Neurophysiologe Mark Changizi (Changizi 2006, 2009) an, dass unsere Buchstaben zu genau den auch heute noch gebräuchlichen Formen aus mehreren einfachen Strichen zusammengesetzt sind, weil diese Formen in vorzüglicher Weise der Wahrnehmung durch das menschliche visuelle System entsprechen. Viele der Verbindungen einfacher Striche zu Buchstaben (Y-Verbindung, L-Verbindung, K-Verbindung etc.) hätten eine große Ähnlichkeit mit auch in der Natur auftretenden Formen, z. B. mit bestimmten Astgabelungen oder mit in der Umwelt vorfindbaren Konturen als Resultat aufeinendertreffender, kontrastbildender Oberflächen.

Menschliche visuelle Zeichen im Allgemeinen und Buchstaben im Besonderen haben durch kulturelle Evolution der Natur ähnliche Formen erhalten, weil sich unsere visuellen Wahrnehmungssysteme durch Evolution dazu entwickelt haben, Formen in der Natur besonders gut wahrnehmen zu können.

Human visual signs have evolved to look like nature. Why? Because nature is what we have evolved over millions of years to be good at seeing.

Writing has been culturally selected to look like nature; writing is shaped for the eye, not for the hand. (Changizi 2006, 169)

The shapes of letters and symbols used throughout history by the world's many cultures may have arisen to take advantage of the way human vision has evolved to see common structures and shapes in nature, according to a new study in The American Naturalist.

Mark Changizi, a theoretical neurobiologist at the California Institute of Technology, says the evidence suggests that letters and symbols have their particular shapes because "these are what we are good at seeing." This means that the letters of all writing systems--Chinese, Latin, Persian, as well as 97 other systems that have been used through the years--are visual repetitions of common sights.

The strokes in the letters you’re reading […] are a bit like "contours" in the real world that occur whenever one surface stops and another starts – the edge between two walls, or the edge of your table – in that they are thin, but usually, with contours, there is no stroke at all, just a sudden change in the color or texture from one region to the next. Our visual system would therefor probably prefer to look at contours, not strokes. But strokes are still fairly easy to see by the visual system, and are much easier for the hand to produce.

That we use strokes and not contours is for the benefit of the hand, but the shapes of our symbols are for the benefit of the eye.

(Changizi 2006, 171)

We possess a visual system desiged to recognize objects and efficiently react to the information. If a word’s meaning corresponds to an object, even an abstract object, then our visual system will be better able to process and react to the written symbol for that word if the written symbol is itself object-like. (Changizi 2006, 178)

There is also a more fundamental difficulty with using single strokes, and it has to do with the way our brains work. The part of our brains that performs visual computations is arranged in a hierarchy. The lower areas of the hierarchy – the first place where visual processing takes place on the brain’s way to object recognition – deal with simpler parts like contours, slightly higher areas deal with simple combinations of contours, and, finally, the highest areas of the hierarchy recognize and perceive full objects. The problem with using single strokes to represent spoken words […] is that the visual system finishes processing the strokes far too early in the hierarchy. (Changizi 2006, 179)

The visual system is not accustomed to creating word-like (e.g., object-like) interpretations from single strokes. We don’t typically perceive single strokes at all, at least not in the same way we see objects. […] Our brains naturally look for objects and want to interpret outside stimuli as objects. […] Using single strokes as words is a bad idea, […] because the brain is not designed to treat single contours as meaninful. The brain is also not designed to treat object junctions as meaningful. That’s why spoken words tend to be written with symbols with complexity similar to that of visual objects. (Changizi 2006, 180)

The visual system possesses innate mechanisms for interpreting object-like visual stimuli like objects. Because spoken words are the smallest meaningful entities in spoken language, and often have meanings that are at the object level (they are either objects, or properties of objects), it is only natural that to represent them, we use stimuli that our visual system has been designed to not only interpret, but interpret as objects. By using objects to stand for spoken words – and not smaller-than-object visual structures like lines or junctions, and not larger-than-object visual structures like scenes – we are best able to harness the visual system’s innate abilities, even as we are asking it to perform a task it never evolved to do.

(Changizi 2006, 181)