Langage algébrique

En théorie des langages formels, un langage algébrique ou langage non contextuel est un langage qui est engendré par une grammaire algébrique. De manière équivalente, un langage algébrique est un langage reconnu par un automate à pile.

Les langages algébriques forment les langages de type 2 dans la hiérarchie de Chomsky. Ils ont des applications importantes dans la description des langages de programmation et en linguistique. Ils interviennent également dans la description des langages XML.

Plusieurs équivalents sont employés et équivalents : langage « context-free » ou langage non contextuel, langage hors-contexte^{[réf. souhaitée]}, langage acontextuel.

Quelques exemples

Les langages algébriques ont pour objectif de capturer une structure des mots qui consiste en des associations de symboles, typiquement représentées par des groupements de parenthèses ; ces mots et langages correspondent bien à des expressions structurées dans les langages de programmation (la structure begin - end, ou l'indentation) et se représentent aussi dans la hiérarchisation d'informations par des arbres, par exemple. Toutes ces possibilités dépassent les capacités d'un langage rationnel.

• Le langage $\{a^{n}b^{n}\mid n\geqslant 0\}=\{\varepsilon ,ab,aabb,aaabbb,\dots \}$ est l'exemple type d'un langage algébrique qui n'est pas un langage rationnel. Il est formé des mots qui ont autant de lettres $a$ que de lettres $b$, et avec la condition supplémentaire que les lettres $a$ précèdent les lettres $b$.
• Les langages de Dyck (ce sont des langages de mots bien parenthésées) sont des langages algébriques.

• Les expressions arithmétiques, utilisant les quatre opérations élémentaires, par exemple $a\times b+(a+b)/d$, etc., forment un langage algébrique. C'est d'ailleurs cette observation qui historiquement est à la base du développement des compilateurs qui doivent, entre autres, traduire des expressions arithmétiques complexes en les décomposant en opération élémentaires.

Pour prouver qu'un langage est algébrique, on donne une grammaire non contextuelle qui l'engendre. Voir le paragraphe d'exemples de l'article en question pour plus de détails. Pour des langages plus compliqués, on peut utiliser des méthodes plus puissantes, comme les transductions rationnelles ou le fait que les langages algébriques forment une famille abstraite de langages.

• Le langage $\displaystyle \{a^{n}c^{m_{1}}d^{m_{1}}c^{m_{2}}d^{m_{2}}\cdots c^{m_{n}}d^{m_{n}}\mid n,m_{1},\ldots ,m_{n}\geq 1\}$ est algébrique. Les mots de ce langage sont composés d'un premier groupe formé d'un certain nombre de lettres $a$, suivis d'autant de blocs ; chacun de ces blocs est formé de lettres $c$ suivies du même nombre de $d$. Cette description donne une indication sur la manière de construire le langage : il est obtenu à partir du langage $\{a^{n}b^{n}\mid n\geq 1\}$, en substituant, à chaque lettre $b$, le langage $\{c^{m}d^{m}\mid m\geq 1\}$. Comme les langages algébriques sont fermés par substitution (voir ci-dessous), le langage obtenu est algébrique.

• Le langage de Goldstine $G$ sur deux lettres $a$, $b$ est encore plus compliqué. C'est l'ensemble des mots $\displaystyle a^{n_{1}}ba^{n_{2}}b\cdots a^{n_{p}}b$ où $p\geq 1$, $n_{i}\geq 0$ et $n_{j}\neq j$ pour un $j$ avec $1\leq j\leq p$. On veut donc que $n_{1}\neq 1$ ou $n_{2}\neq 2$ ou... $n_{p}\neq p$. Il est presque plus simple de se demander quand un mot $a^{n_{1}}ba^{n_{2}}b\cdots a^{n_{p}}b$ n'est pas dans le langage : c'est lorsque les $n_{j}$ sont tous égaux à $j$, donc lorsque le mot est $aba^{2}b\cdots a^{p}b$.
  Pour vérifier que ce langage est algébrique, on part du langage algébrique $\displaystyle \{a^{p}b^{q}c\mid p,q\geq 0,q\neq p+1\}$ et on applique la substitution $\displaystyle a\mapsto a^{*}b,\quad b\mapsto a,\quad c\mapsto b(a^{*})b^{*}.$ Le langage $G$ est le résultat de cette substitution.Ce langage est lié au mot infini $\displaystyle x=aba^{2}ba^{3}b\cdots a^{n}b\cdots$. En effet, le langage $G$ est l’ensemble des mots qui ne sont pas préfixes de mots de $x$ et qui se terminent par la lettre $b$.

Propriétés

Tout langage rationnel est algébrique car il peut être décrit par une grammaire régulière, qui est un cas particulier de grammaire non contextuelle.

Propriétés de clôture

La classe des langages algébriques possède certaines propriétés de clôture :

• l'union et la concaténation de deux langages algébriques sont des langages algébriques ;
• l'étoile d'un langage algébrique est algébrique ;
• l'intersection de deux langages algébriques ne l'est pas nécessairement. Par exemple, l'intersection des langages $\{a^{n}b^{n}c^{m}\mid n,m>0\}$ et $\{a^{n}b^{m}c^{m}\mid n,m>0\}$ est $\{a^{n}b^{n}c^{n}\mid n>0\}$. Ce langage n'est pas algébrique (on le prouve traditionnellement à l'aide d'un lemme d'itération pour les langages algébriques). Par conséquent, la classe des langages algébriques n'est pas non plus close par complémentaire ;
• l'image miroir d'un langage algébrique est un langage algébrique ;
• l'intersection d'un langage algébrique et d'un langage rationnel est toujours algébrique ;
• l'image homomorphe, l'image homomorphe inverse d'un langage algébrique est algébrique.

De ces propriétés, il résulte que :

• les langages algébriques sont fermés par transduction rationnelle, donc forment un cône rationnel ;
• les langages algébriques sont fermés pour les opérations rationnelles (union, produit, étoile), donc forment une famille abstraite de langages.

Clôture par substitution

Une substitution de $A^{*}$ dans $B^{*}$ est une application $\sigma$ de $A^{*}$ dans l'ensemble des parties de $B^{*}$ qui est un morphisme de monoïdes, c'est-à-dire vérifie les deux propriétés :

1. $\sigma (\varepsilon )=\{\varepsilon \}$ ;
2. $\sigma (xy)=\sigma (x)\sigma (y)$ pour des mots $x$ et $y$.

Dans la deuxième formule, le produit est le produit des parties de $B^{*}$.

Une substitution $\sigma$ est algébrique si $\sigma (a)$ est un langage algébrique pour toute lettre $a$.

Le théorème de substitution affirme que si $\sigma$ est une substitution algébrique, alors $\sigma (L)$ est un langage algébrique pour tout langage algébrique $L$.

Propriétés indécidables

L'appartenance d'un mot à un langage algébrique est décidable ; elle peut être testée grâce à l'algorithme CYK. On sait également décider si un langage algébrique (défini à partir d'une grammaire) est vide.

Mais contrairement aux langages rationnels, de nombreux autres problèmes sur les langages algébriques sont indécidables. Par exemple, il n'existe pas d'algorithme pour décider si deux langages algébriques donnés sont égaux. Plus précisément, les propriétés suivantes sont indécidables. Soient $L$, $L_{1}$, $L_{2}$ des langages algébriques, donnés par exemple par leurs grammaires, sur un alphabet $A$, et soit $R$ un langage rationnel. Sont indécidables :

• $L_{1}\cap L_{2}=\emptyset$ ;
• $L=A^{*}$ ;
• $L_{1}=L_{2}$ ;
• $L_{1}\subset L_{2}$ ;
• $L=R$ ;
• $R\subset L$ ;
• Le complémentaire de $L$ est algébrique ;
• $L_{1}\cap L_{2}$ est algébrique ;
• $L$ est rationnel ;
• $L$ est inhéremment ambigu. Il est même indécidable qu'une grammaire donnée soit inambiguë.

Langages algébriques déterministes et inambigus

Langages déterministes

Un langage algébrique est dit déterministe s'il est reconnu par un automate à pile déterministe.

La classe des langages algébriques déterministes contient la classe des langages rationnels et est strictement incluse dans celle des langages algébriques. Le contre-exemple type de langage algébrique non déterministe est l'ensemble des palindromes.

La définition implique que l'appartenance d'un mot à un langage algébrique déterministe peut être testée en temps linéaire, contrairement au cas des langages algébriques quelconques. En outre, tout langage algébrique déterministe peut être décrit par une grammaire LR(1) et réciproquement. Cela permet de les utiliser pour des applications pratiques. Ainsi, la plupart des langages de programmation sont des langages algébriques déterministes.

La classe des langages algébriques déterministes est close par complémentaire. Cependant :

• elle n'est pas close par intersection (même contre-exemple que dans le cas non déterministe) ;
• elle n'est pas close par union (conséquence de la clôture par complémentaire et de la non-clôture par intersection) ;
• elle n'est pas close par concaténation (l'étoile de Kleene $L_{1}^{*}$ du langage $L_{1}$ défini plus haut est algébrique déterministe, mais pas $L_{1}^{*}.L_{2}$) ;
• elle n'est pas close par miroir, par exemple, $\{ca^{n}b^{n}\}\cup \{da^{2n}b^{n}\}$ est algébrique déterministe mais pas $\{b^{n}a^{n}c\}\cup \{b^{n}a^{2n}d\}$.

Langages inambigus

Un langage algébrique est inambigu ou non ambigu s'il existe une grammaire inambiguë qui l'engendre. Un langage qui n'est pas inambigu est inhéremment ambigu.

Tout langage déterministe est inambigu, mais les langages inambigus sont fermés par miroir, donc l'inclusion est stricte. Il existe des langages algébriques inhéremment ambigus, comme le langage $\{a^{n}b^{n}c^{m}\mid n,m\geq 0\}\cup \{a^{n}b^{m}c^{m}\mid n,m\geq 0\}$. Ceci se prouve à l'aide du lemme d'Ogden.

Théorèmes de représentation

Trois théorèmes donnent une façon générale de représenter les langages algébriques.

Théorème de Chomsky-Schützenberger

Le théorème affirme que les langages de Dyck sont des langages algébriques « typiques ».

Théorème de Chomsky-Schützenberger — Un langage $L$ sur un alphabet $A$ est algébrique si et seulement s'il existe un langage de Dyck $D$, un langage rationnel $K$ et un morphisme alphabétique $\varphi$ (c'est-à-dire tel que l'image d'une lettre est une lettre ou le mot vide) tels que

$L=\varphi (D\cap K)$.

Théorème de Shamir

Théorème de Shamir — Un langage $L$ sur un alphabet $A$ est algébrique si et seulement s'il existe un alphabet $B$, une lettre $b\in B$ et un morphisme $\Phi$ de $A^{*}$ dans l'ensemble des parties de $(B\cup {\bar {B}})^{*}$ tels que

$L=\{u\in A^{*}\mid b\Phi (u)\cap D_{B}^{*}\neq \emptyset \}$.

Ici, ${\bar {B}}$ est une copie disjointe de $B$, et $D_{B}^{*}$ est le langage de Dyck sur $B\cup {\bar {B}}$

Théorème du langage le plus difficile, de Greibach

Le « langage le plus difficile » (hardest language en anglais) a été défini par Sheila Greibach en 1973. C'est un langage où le test d'appartenance est le plus difficile, au sens que tout algorithme de test d'appartenance se traduit en un test d'appartenance pour tout autre langage algébrique.

Étant donné un langage $L$ sur un alphabet $A$, la version non déterministe de $L$, et le langage noté $N(L)$ défini comme suit. On ajoute à $A$ les trois nouvelles lettres $[,],{+}$. Sur ce nouvel alphabet, on considère le langage $K=([(A^{*}{+})^{*}A^{*}])^{*}$. Tout mot $h$ de $K$ admet une factorisation

$h=[h_{1}][h_{2}]\cdots [h_{n}]$

et chaque mot $h_{i}$ lui-même s'écrit sous la forme

$h_{i}=h_{i,1}{+}h_{i,2}{+}\cdots {+}h_{i,k_{i}}$

où les mots $h_{i,j}$ sont sur l'alphabet $A$. Un choix dans $h$ est un mot

$h_{1,j_{1}}h_{2,j_{2}}\cdots h_{n,j_{n}}$

obtenu en choisissant un facteur $h_{i,j_{i}}$ dans chaque $[h_{i}]$. Notons $\chi (h)$ l'ensemble des choix dans $h$. La version non déterministe de $L$ est défini par

$N(L)=\{h\mid \chi (h)\cap L\neq \emptyset \}$

Le langage le plus difficile est par définition le langage $H$ qui est la version non déterministe du langage de Dyck $D_{2}^{*}$ sur deux couples de parenthèses.

Théorème du langage le plus difficile (Greibach) — Un langage $L$ sur un alphabet $A$ est algébrique si et seulement s'il existe un morphisme $\varphi$ tel que l'on ait

$\$L=\varphi ^{-1}(H)$,

où $H$ est le langage le plus difficile et $\$$ est une lettre qui n'est pas dans $A$.

La terminologie vient du fait que le test d'appartenance d'un mot $x$ à $L$ se réduit au test d'appartenance du mot $\varphi (\$x)$ au langage $H$. Ainsi, tout algorithme de test d'appartenance à $H$ fournit un algorithme général de test d'appartenance, pour les langages algébriques, de même complexité. Des extensions du théorème à des grammaires plus générales ont été proposées par Alexander Okhotin.

Langage algébrique et théorie de la complexité

Tout langage algébrique est décidé par un algorithme déterministe en espace O(log² n) et en temps super-polynomial. Autrement dit, la classe des langages algébriques est incluse dans DSPACE(log² n). Tout langage de Dyck est décidé par un algorithme déterministe en espace O(log n). De même pour les langages de parenthèses. Tout langage algébrique déterministe non rationnel nécessaire au moins log n cases mémoires pour être décidé.

Tout langage algébrique est décidé par un algorithme déterministe en espace O(log² n) et en temps polynomial. Ainsi, tout langage algébrique est dans la classe SC.

Bibliographie

Par la nature fondamentale de cette notion, de nombreux ouvrages d'informatique théorique contiennent au moins une section sur les langages algébriques. Plusieurs livres ont également été traduits en français.

Ouvrages en français

• Alfred Aho, Monica Lam, Ravi Sethi et Jeffrey Ullman (trad. de l'anglais), Compilateurs : principes, techniques et outils : Avec plus de 200 exercices, Paris, Pearson, 2007, 2^e éd., 928 p. (ISBN 978-2-7440-7037-2 et 2744070378)
• Pierre Wolper, Introduction à la calculabilité : cours et exercices corrigés, Paris, Dunod, 2006, 3^e éd., 224 p. (ISBN 2-10-049981-5).
• Jean-Michel Autebert, Langages algébriques, Masson, 1987, 278 p. (ISBN 978-2-225-81087-9)
• Olivier Carton, Langages formels, calculabilité et complexité, 2008 [détail de l’édition] (lire en ligne)
• Jean-Michel Autebert, Jean Berstel et Luc Boasson, « Context-free languages and pushdown automata », dans G. Rozenberg, A. Salomaa (éditeurs), Handbook of Formal Languages, vol. 1 : Word, Language, Grammar, Springer Verlag, 1997 (ISBN 978-3540604204), p. 111-174

Ouvrage en allemand

• (de) Katrin Erk et Lutz Priese, Theoretische Informatik : eine umfassende Einführung, Berlin, Springer, 2008, 485 p. (ISBN 978-3-540-76319-2, OCLC 244015158).

Ouvrages en anglais

• (en) Seymour Ginsburg, The Mathematical Theory of Context Free Languages, McGraw-Hill, 1966, ix+ 232 — Le premier livre sur les langages algébriques.
• (en) Alfred V. Aho et Jeffrey D. Ullman, The theory of parsing, translation, and compiling, vol. 1 : Parsing, Englewood Cliffs, NJ, Prentice-Hall, 1972, xii+543 (ISBN 0-13-914556-7)
• (en) Alfred V. Aho et Jeffrey D. Ullman, The theory of parsing, translation, and compiling, vol. 2 : Compiling, Englewood Cliffs, NJ, Prentice-Hall, 1973, xii+460 (ISBN 0-13-914564-8)
• (en) Michael A. Harrison, Introduction to Formal Language Theory, Reading, Mass., Addison-Wesley, 1978, 594 p. (ISBN 0-201-02955-3, OCLC 266962302).
• (en) John E. Hopcroft, Rajeev Motwani et Jeffrey D. Ullman, Introduction to Automata Theory, Languages, and Computation, Addison Wesley, 2001, 2^e éd., 521 p. (ISBN 978-0-201-44124-6 et 0201441241).
• (en) Peter Linz, An Introduction to Formal Languages and Automata, Jones & Bartlett Learning, 2001, 410 p. (ISBN 978-0-7637-1422-2 et 0763714224, lire en ligne).

Cours

• Anca Muscholl, « Langage hors-contexte » [PDF]
• Jean-François Perrot, « Les grammaires "Context-Free" et la hiérarchie de Chomsky »
• Jean Privat, « Grammaires non contextuelles » [PDF], 15 mars 2012
• Jacques Désarménien, « Grammaires non contextuelles » [PDF]