Annexe A

Annexe A Alg`ebre Matricielle A.1 Introduction Comme tous ceux qui ont ´etudi´e l’´econom´etrie ou une quelconque autre discipline math´ematique le savent, la diff´erence entre un r´esultat qui semble obscur et difficile, et un r´esultat qui semble clair et intuitif, provient souvent simplement de la notation utilis´ee. Dans presque tous les cas, la notation la plus claire rend possible l’utilisation des vecteurs et des matrices. Les lecteurs de ce livre devraient ˆetre assez familiers avec l’alg`ebre matricielle. Cette annexe est destin´ee `a aider ceux qui esp`erent se rafraˆıchir la m´emoire et r´eunir les r´esultats avec une plus grande facilit´e. Les lecteurs devraient noter que le Chapitre 1 contient aussi un nombre utile de r´esultats sur les matrices, en particulier ceux concernant les matrices de projection. Dans cette annexe, des preuves seront donn´ees seulement si elles sont courtes ou si elles sont int´eressantes. Ceux qui sont int´eress´es par un traitement plus complet et plus rigoureux peuvent se reporter `a Lang (1987).

´mentaires Concernant les Matrices A.2 Faits Ele Une matrice A de dimension n × m est un tableau rectangulaire de chiffres qui se compose de nm ´el´ements arrang´es dans n lignes et m colonnes. Le nom de la matrice est de fa¸con conventionnelle retranscrit en caract`eres gras. Un ´el´ement type de la matrice A pourrait ˆetre not´e Aij ou aij , o` u i = 1, . . . , n et j = 1, . . . , m. Le premier indice d´esigne toujours la ligne et le second la colonne. Il est parfois n´ecessaire de montrer explicitement les ´el´ements d’une matrice, dans ce cas ils sont dispos´es en lignes et en colonnes et entour´es par de grands crochets, comme dans · ¸ 1 2 4 B= . 3 5 5 Ici B est une matrice de dimension 2 × 3. Si une matrice n’a qu’une seule colonne ou une seule ligne, elle est appel´ee vecteur. Il existe deux types de vecteurs, des vecteurs colonnes et des vecteurs lignes, dont les noms sont explicites. Puisque le premier type est 770

´mentaires Concernant les Matrices A.2 Faits Ele

771

plus courant que le second, un vecteur qui n’est pas sp´ecifi´e pour ˆetre vecteur ligne sera trait´e comme un vecteur colonne. Si un vecteur colonne comporte n ´el´ements, il s’agira d’un vecteur `a n dimensions. Le caract`ere gras est utilis´e pour d´esigner des vecteurs aussi bien que des matrices. Il est conventionnel d’utiliser des majuscules pour les matrices et des minuscules pour les vecteurs. Cependant, il est parfois n´ecessaire d’ignorer cette convention. Si une matrice a le mˆeme nombre de colonnes que de lignes, elle est carr´ee. Une matrice carr´ee A est sym´etrique si Aij = Aji pour tout i et j. Des matrices sym´etriques surviennent tr`es fr´equemment en ´econom´etrie. Une matrice carr´ee est diagonale si Aij = 0 pour tout i 6= j; dans ce cas, les seuls ´el´ements non nuls sont ceux qui forment la diagonale principale. Parfois une matrice carr´ee est compos´ee de z´eros au-dessus ou au-dessous de la diagonale principale. Une telle matrice est dite triangulaire. Si les ´el´ements non nuls sont tous au-dessus de la diagonale, elle est dite triangulaire-sup´erieure; si les ´el´ements non nuls sont tous au-dessous de la diagonale, elle est dite triangulaire-inf´erieure. Voici quelques exemples:       1 2 4 1 0 0 1 0 0 A = 2 3 6 B = 0 4 0 C =  3 2 0 . 4 6 5 0 0 2 5 2 6 Dans ce cas, la matrice A est sym´etrique, la matrice B est diagonale, et la matrice C est triangulaire-inf´erieure. Une matrice sp´eciale qu’utilisent fr´equemment les ´econom`etres est I, qui d´esigne la matrice identit´e. Il s’agit d’une matrice diagonale dont chaque ´el´ement diagonal est ´egal `a 1. Un indice est parfois utilis´e pour indiquer le nombre de lignes et de colonnes. Ainsi,   1 0 0 I3 =  0 1 0 . 0 0 1 Un vecteur sp´ecial que nous utilisons ´enorm´ement dans ce livre est ι, qui d´esigne un vecteur colonne compos´e de 1. La transpos´ee d’une matrice est obtenue en interchangeant toutes ses ´ecritures lignes et colonnes. Ainsi, le ij i`eme ´el´ement de la matrice A devient le ji i`eme ´el´ement de sa transpos´ee, qui est d´esign´ee par la matrice A>. Notons que certains auteurs utilisent A0 plutˆot que A> pour d´esigner la transpos´ee de A. La transpos´ee d’une matrice sym´etrique est ´egale `a la matrice elle-mˆeme. La transpos´ee d’un vecteur colonne est un vecteur ligne, et vice versa. Voici quelques exemples:     · ¸ 1 1 3 1 2 4 >    A= A = 2 5 b = 3  b> = [ 1 3 5 ]. 3 5 5 5 4 5

`bre Matricielle Alge

772

L’addition et la soustraction des matrices fonctionnent exactement de la mˆeme fa¸con que pour les scalaires, `a condition que les matrices puissent ˆetre additionn´ees ou soustraites seulement si elles sont conformes. Dans le cas de l’addition et de la soustraction, ceci signifie simplement qu’elles doivent avoir les mˆemes dimensions. Si A et B sont conformes, alors un ´el´ement type de A + B est simplement Aij + Bij , et un ´el´ement type de A − B est Aij − Bij . En fait, la multiplication matricielle comprend `a la fois des additions et des multiplications. Elle est bas´ee sur ce qui est appel´e produit int´erieur, ou produit scalaire, de deux vecteurs. Supposons que a et b soient des vecteurs de dimensions n. Alors leur produit int´erieur est >

>

a b=b a=

n X

ai bi .

(A.01)

i=1

Quand les deux matrices sont multipli´ees, chaque ´el´ement du r´esultat est ´egal au produit int´erieur d’une des lignes de la premi`ere matrice avec une des colonnes de la seconde matrice. Ainsi, si C = AB, Cik =

m X

Aij Bjk .

j=1

Ici, nous avons implicitement suppos´e que la matrice A comporte m colonnes et la matrice B m lignes. Pour que les deux matrices soient conformes pour la multiplication, la premi`ere matrice doit avoir autant de colonnes que la seconde de lignes. Alors, le r´esultat a autant de lignes que la premi`ere matrice et autant de colonnes que la seconde. Voici un exemple explicite A

B = C .

n×m m×l

n×l

Nous voyons rarement ce type de notation dans un livre ou une publication, mais il est souvent commode de l’utiliser lors de calculs destin´es `a v´erifier que les matrices multipli´ees sont en effet conformes pour d´efinir les dimensions de leur produit. Le produit ext´erieur des deux vecteurs a et b est ab>. Par contraste avec le produit int´erieur, qui est un scalaire, le produit ext´erieur est une matrice de dimension n × n si les vecteurs sont de dimension n. L’interaction entre la multiplication et l’addition matricielles est intuitive. Il est ais´e de v´erifier la propri´et´e de distributivit´e `a partir des d´efinitions des op´erations respectives. Cette propri´et´e est A(B + C) = AB + AC. En plus, ces deux op´erations sont associatives, ce qui signifie que (A + B) + C = A + (B + C) et (AB)C = A(BC).

´mentaires Concernant les Matrices A.2 Faits Ele

773

La multiplication matricielle est, en g´en´eral, non commutative. Le fait qu’il soit possible de pr´emultiplier la matrice B par la matrice A n’implique pas qu’il soit possible de postmultiplier la matrice B par la matrice A. En effet, il est ais´e de voir que les deux op´erations sont possibles si et seulement si un des produits matriciels est carr´e; dans ce cas l’autre produit matriciel sera ´egalement carr´e, bien qu’il soit g´en´eralement de dimensions diff´erentes. Mˆeme quand les deux op´erations sont possibles, AB 6= BA sauf dans des cas sp´eciaux. Les r`egles pour la multiplication des matrices et des vecteurs sont les mˆemes que les r`egles de multiplication des matrices entre elles; les vecteurs sont simplement trait´es comme des matrices qui ont une seule colonne ou une seule ligne. La matrice identit´e I est ainsi appel´ee parce qu’elle laisse inchang´ee n’importe quelle matrice avec laquelle elle est soit pr´emultipli´ee soit multipli´ee. Ainsi, pour une matrice quelconque A, AI = IA = A, pourvu naturellement que les deux matrices soient conformes dans chaque cas. Il est facile de voir pourquoi la matrice identit´e poss`ede cette propri´et´e. Le ij i`eme ´el´ement de AI est m X Aik Ikj = Aij , k=1

puisque Ikj = 0 pour k 6= j et Ikj = 1 pour k = j. Le vecteur sp´ecial ι est aussi utile. On l’utilise lorsque l’on d´esire sommer les ´el´ements d’un autre Pn vecteur, parce que, pour n’importe quel vecteur b de dimension n, ι>b = i=1 bi . La transpos´ee du produit de deux matrices est le produit des transpos´ees des matrices en ordre invers´e. Ainsi, (AB)> = B>A>.

(A.02)

L’inversion de l’ordre est n´ecessaire pour que les matrices transpos´ees soient conformes `a la multiplication. Le r´esultat (A.02) peut ˆetre prouv´e en ´ecrivant les ´el´ements types des deux cˆot´es et en v´erifiant qu’ils sont identiques: > (AB)ij

= (AB)ji =

m X

Ajk Bki =

k=1

m X

(B> )ik (A> )kj = (B>A> )ij ,

k=1

o` u m est le nombre de colonnes de la matrice A et le nombre de lignes de la matrice B. Il est toujours possible de multiplier une matrice par sa propre transpos´ee: si la matrice A est de dimension n × m, alors A> est de dimension m × n, la matrice A>A est de dimension m × m, et la matrice AA> est de dimension n × n. Ces deux produits matriciels sont sym´etriques: A>A = (A>A)> et

AA> = (AA> )>,

cela provient directement de l’application de (A.02).

(A.03)

`bre Matricielle Alge

774

Chaque ´el´ement du produit des deux matrices est une somme. Ceci sugg`ere qu’il peut ˆetre commode d’utiliser l’alg`ebre matricielle pour des sommes. Supposons, par exemple, que nous ayons n observations sur k r´egresseurs. Ceux-ci peuvent ˆetre arrang´es dans une matrice X de dimension n × k. Ensuite, la matrice des sommes des carr´es et des produits crois´es des r´egresseurs peut ˆetre ´ecrite de fa¸con compacte comme X>X. Il s’agit d’unePmatrice n 2 sym´etrique de dimension k × k,P dont un ´el´ement diagonal type est t=1 Xti n et un ´el´ement non diagonal est t=1 Xti Xtj . Il est souvent n´ecessaire de multiplier une matrice par un scalaire, et ceci fonctionne comme pr´evu: chaque ´el´ement de la matrice est multipli´e par le scalaire. De fa¸con occasionnelle, il est n´ecessaire de multiplier deux matrices, ´el´ement par ´el´ement. Le r´esultat est appel´e produit direct (ou parfois produit Schur) des deux matrices. Le produit direct des matrices A et B est d´esign´e A∗B, et un ´el´ement type est Aij Bij . Une matrice carr´ee peut ne pas ˆetre inversible. Si la matrice A est inversible, alors elle a une matrice inverse A−1 telle que AA−1 = A−1A = I. Si la matrice A est sym´etrique, alors la matrice A−1 l’est aussi. Si la matrice A est triangulaire, alors la matrice A−1 l’est aussi. Sauf dans certains cas sp´eciaux, il n’est pas facile de calculer l’inverse d’une matrice manuellement. Un tel cas sp´ecial est celui d’une matrice diagonale, disons D, avec comme ´el´ement type diagonal Dii . Il est facile de v´erifier que D −1 est aussi une −1 matrice diagonale, avec comme ´el´ement type diagonal Dii . Il est souvent commode d’utiliser la trace d’une matrice carr´ee, qui est simplement la somme des ´el´ements diagonaux. Ainsi, Tr(A) =

n X

Aii .

i=1

Une propri´et´e tr`es utile est que la trace d’un produit de deux matrices A et B n’est pas affect´ee par l’ordre dans lequel les deux matrices sont multipli´ees. Puisque la trace est d´efinie seulement pour des matrices carr´ees, `a la fois AB et BA doivent ˆetre d´efinies. Ensuite, nous avons Tr(AB) =

n X i=1

(AB)ii =

n X m X i=1 j=1

m X Aij Bji = (BA)jj = Tr(BA).

(A.04)

j=1

Le r´esultat (A.04) peut ˆetre d´evelopp´e. Nous consid´erons un produit (carr´e) de plusieur matrices, la trace est invariante `a ce qui est appel´e permutation cyclique des facteurs. Ainsi, par exemple, Tr(ABC) = Tr(CAB) = Tr(BCA),

(A.05)

´ome ´trie des Vecteurs A.3 La Ge

775

comme on d´emontre en appliquant plusieurs fois la relation (A.04). Ce r´esultat peut ˆetre extrˆemement commode, et plusieurs r´esultats standards sur les propri´et´es des OLS l’utilisent. Par exemple, si X est une matrice de dimension n × k, (A.05) implique que ¡ ¢ ¡ ¢ Tr X(X>X)−1X> = Tr X>X(X>X)−1 = Tr(Ik ) = k.

´ome ´trie des Vecteurs A.3 La Ge Les ´el´ements d’un vecteur de dimension n peuvent ˆetre vus comme les coordonn´ees d’un point dans un espace Euclidien de dimension n, qui peut ˆetre not´e E n. La diff´erence entre E n et l’espace plus familier Rn est que le premier inclut une d´efinition sp´ecifique de la longueur de chaque vecteur dans E n. La longueur d’un vecteur x est kxk ≡ (x>x)1/2. Ceci est simplement la racine carr´ee du produit int´erieur de x avec lui-mˆeme. En termes scalaires, il est simplement µX n

¶1/2 x2i

.

(A.06)

i=1

Comme l’indique la notation k · k, la longueur d’un vecteur est parfois reli´ee a sa norme. Cette d´efinition s’inspire du c´el`ebre th´eor`eme de Pythagore con` cernant les carr´es des cˆot´es des triangles rectangles. La d´efinition (A.06) est simplement une g´en´eralisation de ce r´esultat `a un nombre arbitraire de dimensions. Il existe en r´ealit´e plus d’une mani`ere de d´efinir un produit int´erieur. Celle utilis´ee auparavant dans (A.01), et la seule utilis´ee explicitement dans cet ouvrage, est appel´ee produit int´erieur naturel. Le produit int´erieur naturel de deux vecteurs y et x est souvent not´e hx, yi ≡ x>y. La norme d’un vecteur peut ˆetre d´efinie en termes du produit int´erieur naturel, puisque kxk2 = hx, xi. L’in´egalit´e fondamentale qui lie des normes et des produits int´erieurs est |hx, yi| ≤ kxk kyk. (A.07) L’in´egalit´e dans (A.07) devient une ´egalit´e si et seulement si x et y sont parall`eles, c’est-`a-dire si y = αx pour un scalaire α quelconque. Le concept de longueur d’un vecteur s’´etend naturellement au concept de distance entre deux points dans E n. Si x, y ∈ E n, la distance entre x et y est kx − yk. Notons que cette d´efinition est sym´etrique par rapport `a x et y. Le concept de produit int´erieur nous permet ´egalement de d´efinir ce que

`bre Matricielle Alge

776

nous signifions dans le contexte g´en´eral par l’angle entre deux vecteurs. Pour x, y ∈ E n, l’angle φ ≡ 6 (x, y) peut ˆetre d´efini en terme de son cosinus, cos φ, comme suit: hx, yi cos φ = . kxk kyk Cette d´efinition fournit une valeur `a cos φ qui varie dans l’intervalle [−1, 1], d’apr`es (A.07). La d´efinition est unique seulement si nous limitons la variation possible de φ `a un intervalle de longueur π (et non 2π). De fa¸con habituelle, le meilleur intervalle `a choisir est [0, π]. Avec ce choix, l’angle entre un vecteur et lui-mˆeme est 0, entre un vecteur et son oppos´e, π, et entre un vecteur et un autre vecteur qui lui est orthogonal, π/2. Des vecteurs sont orthogonaux si leur produit int´erieur est nul. La notion utilis´ee en ´econom´etrie qui correspond le plus ´etroitement au concept g´eom´etrique du cosinus de l’angle est le R2 d’une r´egression lin´eaire. Comme nous l’avons vu dans le Chapitre 1, le R2 de la r´egression y = Xβ + u est le carr´e du cosinus de l’angle entre le vecteur y de dimension n et la projection PX y de ce vecteur sur l’espace S(X) des r´egresseurs. Une fois le cosinus de l’angle φ trouv´e, il est possible de calculer les valeurs de toutes les autres fonctions trigonom´etriques de φ. Ces fonctions sont le sinus, sin φ, la tangente, tan φ, la cotangente, cot φ, la s´ecante, sec φ, et la cos´ecante, csc φ. Parmi celles-ci, la seule qui nous int´eresse ici est la cotangente, qui est ´etroitement reli´ee aux t de Student des r´egressions lin´eaires. En termes de cos φ, cot φ est d´efinie comme suit, pour φ ∈ [0, π]: cot φ =

cos φ . (1 − cos2 φ)1/2

(A.08)

Contrairement au cosinus, qui doit varier entre −1 et 1, la cotangente peut ´evidemment prendre n’importe quelle valeur r´eelle. Pour le cas sp´ecial d’une simple r´egression lin´eaire y = βx+u sans terme constant, le t de Student associ´e `a x est βˆ , s(x>x)−1/2

(A.09)

o` u βˆ est l’estimation OLS de β, (x>x)−1 x>y, et s est l’estimation OLS de σ, l’´ecart type des al´eas. Dans la notation g´eom´etrique, si φ est l’angle compris entre y et x, nous avons hx, yi kyk βˆ = = cos φ, hx, xi kxk (x>x)1/2 = kxk,

et

¡ ¢ s2 = (n − 1)−1 y>y − y>x(x>x)−1 x>y = (n − 1)−1 kyk2 (1 − cos2 φ).

´aires A.4 Matrices comme Applications des Espaces Line

777

En substituant ces r´esultats dans l’expression (A.09) pour le t de Student, nous trouvons que la valeur de la statistique est (n − 1)1/2

cos φ = (n − 1)1/2 cot φ, 2 1/2 (1 − cos φ)

d’apr`es (A.08). Consulter le Chapitre 3 pour un r´esultat analogue dans le contexte de la r´egression multiple.

´aires A.4 Matrices comme Applications des Espaces Line Il est r´ev´elateur d’examiner la matrice A de dimension n × m comme une application de E m dans E n. Cela s’´ecrit A : E m → E n. Notons l’ordre de m et de n ici. L’interpr´etation est simple. Puisque le produit d’une matrice de dimension n × m par un vecteur colonne de dimension m × 1 est d´efini et fournit un vecteur colonne de dimension n×1, nous pouvons d´efinir l’action de la matrice A sur un vecteur x de dimension m, A(x), comme le produit matriciel Ax, et il s’agit d’un vecteur de dimension n. L’application ainsi d´efinie est lin´eaire, parce que, si α et β sont des scalaires quelconques, A(αx + βy) = αAx + βAy, d’apr`es les propri´et´es classiques des op´erations matricielles. L’espace E m des arguments de l’application A est appel´e espace de d´epart de l’application, et l’espace E n des valeurs espace d’arriv´ee. Un sousespace lin´eaire important de l’espace de d´epart est le noyau de la matrice. Il est d´efini comme suit: N(A) ≡ {x ∈ E m | Ax = 0} . Nous pouvons dire que le noyau de A est annul´e par A. Un sous-espace lin´eaire important de l’espace d’arriv´ee est appel´e image, d´efinie par l’expression R(A) ≡ {y ∈ E n | y = Ax pour un certain x ∈ E m } . L’image peut ˆetre d´ecrite comme le sous-espace de E n qui contient tous les points images d’un point dans E m par A. L’ensemble des points dans E m qui sont appliqu´es vers un point y ∈ E n, c’est-`a-dire les points qui ont y comme image, est appel´e ensemble des ant´ec´edents du point y. Il est clair intuitivement que la dimension de l’espace Euclidien E m est m. Nous notons dim E m = m. Quand nous traitons des sous-espaces comme des noyaux ou des images, les dimensions de ces sous-espaces sont moins

`bre Matricielle Alge

778

apparentes. La n´ecessaire d´efinition formelle est comme suit. Un espace lin´eaire est de dimension n s’il existe n vecteurs lin´eairement ind´ependants dans l’espace et si tous les ensembles de plus de n vecteurs de l’espace sont lin´eairement d´ependants. Un ensemble de vecteurs xi , i = 1, . . . , m, est dit lin´eairement d´ependant s’il existe une combinaison lin´eaire non triviale d’entre eux qui est nulle. C’est-`a-dire que les xi sont lin´eairement d´ependants s’il existe m scalaires αi , non tous nuls, tels que m X

αi xi = 0.

(A.10)

i=1

Pour E m lui-mˆeme, un ensemble appropri´e de vecteurs lin´eairement ind´ependants est fourni par les vecteurs ei , i = 1, . . . , m, de la base orthonorm´ee o` u ei est un vecteur de dimension m dont le i i`eme ´el´ement est 1 et tous les autres sont 0. L’expression du membre de gauche de (A.10), ´evalu´ee avec ei a la place de xi , repr´esente le vecteur α de dimension m avec comme ´el´ement ` type αi . De fa¸con claire, ce vecteur est nul seulement si αi = 0 pour tout i = 1, . . . , m, et ainsi les ei sont lin´eairement ind´ependants. Le compl´ement orthogonal d’un sous-espace M ⊆ E m est l’espace lin´eaire © ª M⊥ ≡ x ∈ E m | x>y = 0 pour tout y ∈ M . Si v est la dimension du noyau de la matrice A de dimension n × m et r son rang, alors la relation suivante est vraie: m − v = r.

(A.11)

Ceci signifie que la dimension du compl´ement orthogonal du noyau est ´egale au rang. Un r´esultat qui sous-tend toutes les utilisations des matrices de projection au travers de cet ouvrage est que n’importe quel vecteur z ∈ E m peut ˆetre exprim´e de mani`ere unique comme la somme de deux vecteurs, l’un dans M et l’autre dans M⊥ , pour n’importe quel sous-espace de E m. Ainsi, nous en d´eduisons que dim M + dim M⊥ = m. La dimension de l’image d’une matrice est appel´ee rang de la matrice. Le rang de A est parfois not´e ρ(A). Une matrice A de dimension n × m est dite de plein rang si ρ(A) est ´egal au minimum de m et n. La terminologie refl`ete le fait que ρ(A) ne pourrait jamais exc´eder min(m, n), comme (A.11) le souligne. Les m colonnes d’une matrice de dimension n×m peuvent ˆetre consid´er´ees comme un ensemble de vecteurs de dimension n. Ainsi, nous pouvons ´ecrire la i i`eme colonne de la matrice A comme ai ∈ E n. Il est facile de voir que l’image de la matrice A est l’ensemble de toutes les combinaisons lin´eaires de ses colonnes ai . Pour cette raison, l’image de la matrice A est souvent appel´ee

´es A.5 Matrices Partitionne

779

sous-espace engendr´e par les colonnes de la matrice A. Il est commode de noter S(A) ce sous-espace, et S⊥ (A) son compl´ement orthogonal. Quand une matrice est interpr´et´ee comme une application des espaces lin´eaires, il est naturel d’attribuer une norme `a une matrice aussi bien qu’aux vecteurs pour lesquels elle agit. La d´efinition de la norme d’une matrice A de dimension n × m suit le mod`ele standard pour la d´efinition des normes des op´erateurs. Elle est comme suit: kAk = max x∈E m

kAxk . kxk

Il peut ˆetre montr´e que n’importe quelle matrice A compos´ee d’´el´ements finis a une norme finie et que n’importe quelle matrice avec une norme nulle doit simplement ˆetre une matrice nulle, c’est-`a-dire une matrice dont tous les ´el´ements sont nuls. Si deux matrices A et B ont des dimensions telles que le produit AB existe, alors nous pouvons montrer que kABk ≤ kAk kBk.

´es A.5 Matrices Partitionne Dans cette section, nous introduisons le concept important d’une matrice partitionn´ee et en d´erivons certaines formules tr`es utiles pour l’inversion des matrices partitionn´ees. Si une matrice A poss`ede m colonnes, et si m1 et m2 sont deux entiers positifs tels que m1 + m2 = m, alors nous pouvons d´efinir deux sous-matrices de A, A1 et A2 , respectivement de dimensions n × m1 et n×m2 , telles que la sous-matrice A1 se compose des m1 premi`eres colonnes de la matrice A, et la sous-matrice A2 des m2 derni`eres colonnes de la matrice A. Nous ´ecrivons £ ¤ A = A1 A2 et d´esignons matrice partitionn´ee le membre de droite de cette relation. La partition du cas ci-dessus a ´et´e r´ealis´ee par colonnes. Nous pouvons ´egalement tr`es bien partitionner par lignes ou par lignes et par colonnes, et il peut y avoir plus de deux partitions pour d’autres cas. Les sous-matrices cr´e´ees par la partition d’une matrice sont appel´ees les blocs de la partition. Si la matrice A de dimension n×m est partitionn´ee par ses colonnes et la matrice B de dimension m × p est partitionn´ee par ses lignes, la partition peut ˆetre conforme. C’est-`a-dire que chaque bloc de la partition de la matrice A poss`ede autant de colonnes que le bloc correspondant de la partition de la matrice B poss`ede de lignes. Dans ce cas, les r`egles ordinaires de la multiplication matricielle peuvent ˆetre appliqu´ees aux matrices partitionn´ees comme si les blocs ´etaient r´eellement les ´el´ements des matrices.

`bre Matricielle Alge

780

L’utilisation de la partition montre clairement que l’image d’une matrice A est l’ensemble de toutes les combinaisons lin´eaires de ses colonnes ai . Ainsi, partitionnons la matrice A de telle sorte que chaque colonne soit trait´ee comme un bloc: ¤ £ A = a1 a2 · · · am . Si la matrice A pr´emultiplie un vecteur x de dimension m, nous pouvons “partitionner” x simplement en s´eparant ses ´el´ements, et obtenons 

£ Ax = a1

=

m X

 x1 ¤ . · · · am  ..  xm ai xi .

i=1

Sous cette forme, il est clair que l’image de x par la matrice A est une combinaison lin´eaire des colonnes de A, d´efinie au moyen des ´el´ements de x. Nous avons remarqu´e auparavant que les matrices partitionn´ees peuvent ˆetre multipli´ees si leurs partitions sont conformes, comme si leurs blocs ´etaient r´eellement des ´el´ements de matrices. Le r´esultat d’une telle multiplication partitionn´ee sera n´ecessairement une matrice dont la partition en lignes est la mˆeme que celle du facteur le plus `a gauche du produit matriciel, et dont la partition en colonnes est la mˆeme que celle du facteur le plus `a droite. Cette propri´et´e peut ˆetre utilis´ee pour d´emontrer d’autres r´esultats utiles. Si nous s´eparons toutes les colonnes du second facteur du produit matriciel AB, nous voyons que £ ¤ £ ¤ AB = A b1 · · · bm = Ab1 · · · Abm , o` u bi est une colonne type de la matrice B. Autrement dit, la i i`eme colonne d’un produit matriciel peut ˆetre trouv´ee en rempla¸cant le facteur le plus `a droite du produit par la i i`eme colonne de ce facteur. De fa¸con similaire, naturellement, la i i`eme ligne d’un produit matriciel est trouv´ee en rempla¸cant le facteur le plus `a gauche par sa i i`eme ligne. Supposons que nous consid´erons une matrice X partitionn´ee en deux groupes de colonnes: X = [X1 X2 ]. La notation est choisie d´elib´er´ement, parce qu’il est intuitivement utile d’assimiler X `a une matrice de r´egresseurs s´epar´es en deux sous-ensembles. En particulier, nous serons capables d’appliquer le Th´eor`eme FWL (Section 1.4) dans l’analyse ult´erieure. Si la matrice X est de dimension n × k, alors le produit matriciel X>X est de dimension k × k. En forme partitionn´ee, nous avons ·

¸ X1> X X= [X1 X2> >

· X2 ] =

X1>X1

X1>X2

X2>X1

X2>X2

¸ .

(A.12)

´es A.5 Matrices Partitionne

781

Nous allons `a pr´esent d´eduire l’inverse de la matrice partitionn´ee qui est l’expression la plus `a droite dans (A.12). Nous savons que la matrice de covariance des param`etres estim´es par OLS pour la r´egression y = Xβ + u est proportionnelle `a (X>X)−1. De plus, si β est partitionn´ee comme ·

¸ β1 β= , β2 conform´ement `a la partition de la matrice X, alors la matrice de covariance des estimations de β1 est proportionnelle (avec la mˆeme constante de proportionalit´e) `a (X1>M2 X1 )−1, o` u M2 = I − X2 (X2>X2 )−1 X2> est la projection orthogonale sur le compl´ement de l’espace engendr´e par les colonnes de X2 . Ceci signifie que si (X>X)−1 est partitionn´ee de la mˆeme mani`ere que X>X, alors le bloc sup´erieur gauche de l’inverse partitionn´ee est (X1>M2 X1 )−1. Ecrivons (X>X)−1 sous forme partitionn´ee comme: · > −1 ¡ > ¢−1 (X X)11 X X = (X>X)−1 21

(X>X)−1 12 (X>X)−1 22

¸ .

(A.13)

Nous avons simplement montr´e que ¡ > ¢−1 ¡ > ¢−1 X X 11 = X1 M2 X1 .

(A.14)

Si (A.12) et (A.13) sont multipli´ees, le r´esultat doit ˆetre une matrice identit´e, que nous pouvons partitionner comme ·

I Ik = k1 0

¸ 0 , Ik2

o` u il y a ki colonnes dans Xi pour i = 1, 2. Le bloc inf´erieur gauche de cette matrice identit´e est 0, et par une multiplication explicite nous voyons que ¡ ¢−1 ¡ ¢−1 X2>X1 X1>M2 X1 + X2>X2 X>X 21 = 0, d’o` u

¡

X>X

¢−1 21

¡ ¢−1 ¡ ¢−1 = − X2>X2 X2>X1 X1>M2 X1 .

(A.15)

La mˆeme sorte de manipulation donnerait une expression pour (X>X)−1 22 , mais ceci n’est pas n´ecessaire, puisque nous savons qu’en inversant les indices −1 > > −1 1 et 2 dans l’expression pour (X>X)−1 11 , (X X)22 = (X2 M1 X2 ) . Ceci n’est pas l’expression que nous obtiendrions directement, et nous la laissons en exercice pour que le lecteur montre que les deux expressions apparemment diff´erentes sont en fait ´egales. Les matrices partitionn´ees que nous d´esirons inverser ne sont pas toutes de la forme X>X. Nous pouvons obtenir des expressions g´en´erales `a partir

`bre Matricielle Alge

782

de ce que nous avons d´ej` a obtenu en ´ecrivant explicitement la matrice de projection orthogonale M2 . Si la matrice X>X est ´ecrite comme · ¸ A C> , (A.16) C B et la matrice (X>X)−1 comme ·

alors

D E

¸ E> , F

(A.17)

¡ ¢−1 D −1 = X1>M2 X1 = X1>X1 − X1>X2 X2>X2 X2>X1 = A − C >B −1 C.

Ainsi, de fa¸con tr`es g´en´erale, nous avons les relations suivantes entre les blocs des deux matrices inverses partitionn´ees (A.16) et (A.17): ¡ ¢−1 D = A − C >B −1 C ; ¢−1 ¡ ¢−1 ¡ E = −B −1 C A − C >B −1 C = − B − CA−1 C > CA−1 ; ¡ ¢−1 F = B − CA−1 C > . Ces formules n´ecessitent que les inverses des blocs diagonaux de la matrice partitionn´ee d’origine existent.

´terminants A.6 De Nous avons plusieurs fois fait allusion `a la possibilit´e qu’une matrice carr´ee puisse ne pas ˆetre inversible. Si tel est le cas, alors l’application qui la d´efinit ne sera pas inversible. En g´en´eral, une application partant d’un espace vers un autre est inversible si et seulement si elle est une bijection, ou bijective, dans une terminologie math´ematique formelle. De fa¸con plus explicite, il faut qu’` a chaque point de l’espace d’arriv´ee de l’application corresponde un et un seul point de l’espace de d´epart de l’application. Ensuite l’application inverse, qui va de l’espace d’arriv´ee vers l’espace de d´epart de l’application d’origine, applique chaque point dans l’image vers son unique ant´ec´edent. Nous montrons tout d’abord que seules les matrices carr´ees sont inversibles. Si A est une matrice de dimension n × m, il est n´ecessaire pour la rendre inversible que, pour chaque vecteur y ∈ E n, il existe un unique vecteur x ∈ E m tel que Ax = y. La matrice inverse A−1 est alors une matrice de dimension m×n qui transforme un tel vecteur y en son correspondant x. Une matrice A dont le noyau contient plus que le vecteur nul n’est pas inversible. Supposons que z ∈ N(A), z 6= 0; c’est-`a-dire, Az = 0. Alors, si Ax = y, nous avons ´egalement A(x + z) = Ax + Az = Ax, et `a la fois x et x + z

´terminants A.6 De

783

doivent appartenir `a l’ensemble des ant´ec´edents de y par A, contrairement a la condition d’existence de l’inverse d’une application. Ainsi, si la matrice ` A est de dimension n × m et est inversible, nous trouvons `a partir de (A.11) que m = r, la dimension de l’image de A. Nous voyons par ailleurs qu’une matrice dont l’image n’est pas le plein espace d’arriv´ee n’est pas inversible, au quel cas il existe des ´el´ements de celui-ci dont l’ensemble des ant´ec´edents est vide, contrairement `a la condition pour une inverse. Ceci implique que r = n, et puisque nous avons d´ej` a vu que m = r, il s’ensuit que m = n. Ainsi, nous avons prouv´e que seules les matrices carr´ees sont inversibles. La condition suppl´ementaire que m = r implique que seules les matrices carr´ees de plein rang sont inversibles. Les matrices carr´ees qui ne sont pas de plein rang sont dites singuli`eres, et les matrices carr´ees de plein rang sont par cons´equent parfois dites non singuli`eres. Toutes les matrices carr´ees non singuli`eres sont inversibles. Comment pouvons-nous savoir si une matrice carr´ee A de dimension n × n quelconque est inversible, et si elle l’est, comment peut-on calculer son inverse? Les r´eponses `a ces deux questions sont fournies par le concept du d´eterminant d’une matrice carr´ee. Puisque, pour le reste de cette section, nous ne traiterons que les matrices carr´ees, toutes les matrices auxquelles nous ferons r´ef´erence seront carr´ees par d´efaut. Le d´eterminant d’une matrice est simplement un scalaire. Nous noterons |A| le d´eterminant de la matrice A et |det A| d´esignera la valeur absolue du d´eterminant de la matrice A. Il est possible de repr´esenter g´eom´etriquement le d´eterminant d’une matrice par le volume de dimension n de la figure rectiligne g´en´er´ee par les colonnes de la matrice. En deux dimensions, par exemple, les deux colonnes d’une matrice de dimension 2 × 2 d´efinissent un parall´elogramme, comme cela est montr´e dans la partie (a) de la Figure A.1. L’aire de ce parall´elogramme est le d´eterminant de la matrice. En trois dimensions, les trois colonnes d’une matrice de dimension 3 × 3 d´efinissent un solide appel´e parall´el´epip`ede (voir la Figure A.2), dont le volume est le d´eterminant de la matrice. Dans des dimensions sup´erieures, comme nous le verrons, nous pouvons d´evelopper alg´ebriquement le concept du d´eterminant de mani`ere naturelle, bien qu’il soit ´evidemment impossible de visualiser les r´esultats de fa¸con g´eom´etrique. L’aire du parall´elogramme est ´etablie dans des textes ´el´ementaires sur la g´eom´etrie comme la base fois la hauteur, o` u la “base” repr´esente la longueur d’un des cˆot´es du parall´elogramme, et la “hauteur” la distance perpendiculaire entre les deux cˆot´es dont la longueur est la base. Ceci signifie que l’aire d’un parall´elogramme peut ˆetre calcul´ee comme l’aire d’un rectangle, comme nous l’avons illustr´e dans la partie (b) de la Figure A.1. De fa¸con alg´ebrique, si les colonnes de la matrice A de dimension 2 × 2 sont not´ees a1 et a2 , l’aire du parall´elogramme est ka1 k kM1 a2 k, o` u M1 est la projection orthogonale sur ⊥ S (a1 ). Il est facile de v´erifier que nous pouvons ´echanger les rˆoles des deux vecteurs sans modifier la valeur de l’aire.

`bre Matricielle Alge

784

....................... ....................... ..................... ........ ..................... ........ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a.2...................... ... . a2................................ .... .. .... ... .... ............................... . . ... .... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ....... . . . .... .... .... .... ... M1 a2 ................... .... .... .... .... . . . . . . . . . . . . . . . . . ... ... ... . .... .... ... ..... ... .... .... .... .... . . . . .. . . . . . . . . . . . . .....a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . a . . . . . . . . . . . . . . . . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... ... ... ..... .... ........................ ............................................... . ......................

O

O

(a) Le parall´elogramme d´efini par a1 et a2

(b) Rectangle de superficie ´egale form´e par a1 et M1 a2

Figure A.1 D´eterminants en deux dimensions a...3...........................................................................................................................................

........ .. ......... ................... ........................................................................................................................................... .. ... .. .. ... ... ... ... .. .. .. .. ... ... ... ... .. .. .. .. ... ... ... ... . . .. .. .. .. ... . . ... . ...............................................................................................a .. . .......2..... ............ .. O ............................................................. ........... . .................................................................................................................. ..............

a1

Figure A.2 Un parall´el´epip`ede en trois dimensions

Dans le cas `a n dimensions, nous pouvons ´etablir la d´efinition de la valeur absolue du d´eterminant de la matrice de dimension n×n A = [a1 a2 · · · an ]: |det A| = kM(1) a1 k kM(2) a2 k · · · kM(n−1) an−1 kkan k n Y = kM(i) ai k.

(A.18)

i=1

Ici, M(i) la projection orthogonale sur le compl´ement de S(ai+1 , . . . , an ), l’espace engendr´e par les n − i derni`eres colonnes de A, pour i = 1, . . . , n − 1. Pour que la seconde ligne soit vraie, il faut que M(n) = I. La d´efinition ci-dessus ne donne que la valeur absolue du d´eterminant. Le signe sera la cons´equence d’une autre propri´et´e des d´eterminants, `a savoir, l’anti-sym´etrie. La valeur de (A.18) est invariante aux changements de l’ordre des colonnes de la matrice A, mais quand le signe est pris en compte, nous ferons en sorte qu’une permutation de n’importe laquelle des deux colonnes de la matrice A change le signe du d´eterminant. Consid´erons la matrice partitionn´ee suivante: · ¸ a11 0 A= . (A.19) b B

´terminants A.6 De

785

Quand la premi`ere colonne est projet´ee sur le compl´ement orthogonal de l’espace engendr´e par les autres, le r´esultat sera une colonne avec a11 comme premier ´el´ement et des 0 ailleurs. Ainsi, d’apr`es (A.18), la valeur absolue de |A| est simplement |a11 ||det B|. La r`egle pour le signe du d´eterminant est une r`egle r´ecursive: nous supposons que |B| a un signe et le multiplions ensuite par celui de l’´el´ement a11 pour obtenir le signe de |A|. Pour terminer l’op´eration, il faut que le signe du d´eterminant d’une matrice de dimension 1 × 1 soit celui du seul ´el´ement de la matrice. Dans un moment, nous aurons besoin d’utiliser le fait que le d´eterminant de la matrice (A.19), qui ne d´epend pas du vecteur b de dimension (n − 1), est ´egal au d´eterminant de n’importe quelle matrice comme (A.19), ayant une colonne nulle `a la place de b mais avec un vecteur ligne c> quelconque `a la place des ´el´ements nuls dans (A.19). Ainsi, le d´eterminant de la matrice ·

a11 0

c> B

¸ (A.20)

est ´egal `a celui de (A.19). Pour comprendre ceci, souvenons-nous que la valeur absolue du d´eterminant est invariante `a l’ordre des colonnes, et s´electionnons la premi`ere colonne de (A.20) comme la colonne qui n’est soumise `a aucune projection dans (A.18). Toutes les autres colonnes seront alors projet´ees sur le compl´ement orthogonal de l’espace engendr´e par la premi`ere colonne et perdront par cons´equent leurs premiers ´el´ements, c’est-`a-dire les ´el´ements de c>. Une matrice triangulaire inf´erieure est un cas particulier de (A.19) dans lequel la matrice B est elle-mˆeme triangulaire inf´erieure. De fa¸con similaire, une matrice triangulaire sup´erieure est un cas particulier de (A.20) dans lequel la matrice B est elle-mˆeme triangulaire sup´erieure. Le fait que le d´eterminant de ces deux matrices soit ´egal `a |a11 ||det B| implique que si une matrice A est triangulaire, son d´eterminant est ´egal au produit de ses ´el´ements diagonaux. Pour obtenir ce r´esultat, nous appliquons simplement le r´esultat d’origine tout d’abord `a A, puis `a son bloc inf´erieur droit, enfin au bloc inf´erieur droit de ce bloc, et ainsi de suite. Une autre propri´et´e des d´eterminants est qu’ils sont invariants `a des permutations de leurs lignes aussi bien que de leurs colonnes, `a un changement de signe pr`es. C’est ce qui ressort de (A.18), puisque la norme d’un vecteur ne d´epend pas de la fa¸con dont les lignes sont ordonnn´ees; consulter (A.06). Le calcul des d´eterminants n’est ´evidemment pas une op´eration lin´eaire. Ainsi, en g´en´eral, |A + B| 6= |A| + |B|. Cependant, il est vrai que si une colonne d’une matrice est exprim´ee comme la somme de deux vecteurs, alors le d´eterminant est additif colonne par colonne. Cela signifie que |a1 + b1 = |a1

a2 · · · an |

a2 · · · an | + |b1

a2 · · · an |.

(A.21)

`bre Matricielle Alge

786

Ici la notation |·| avec les blocs d’une matrice partitionn´ee `a l’int´erieur d´esigne le d´eterminant de la matrice. Pour voir pourquoi (A.21) est vraie, observons que le rang de la projection M(2) est seulement 1. Il s’ensuit que, pour n’importe quels vecteurs a et b de dimension n , kM(2) (a + b)k = kM(2) ak + kM(2) bk. Le r´esultat provient de ce fait et de la d´efinition (A.18). Le r´esultat (A.21) nous permet d’´etablir la m´ethode classique d’´evaluation manuelle des d´eterminants. Cette m´ethode est le d´eveloppement du d´eterminant par une ligne ou une colonne. Plus personne ne calcule r´eellement les d´eterminants de cette mani`ere, sauf peut-ˆetre pour le cas trivial 2 × 2, mais notre discussion sur la fa¸con de d´evelopper les d´eterminants m`enera a un certain nombre de r´esultats utiles. Nous d´evelopperons `a partir de la ` premi`ere colonne. Pour proc´eder de la sorte, nous avons besoin d’une notation particuli`ere. D´esignons Aij la sous-matrice de dimension (n − 1) × (n − 1) de la matrice A obtenue en effa¸cant la i i`eme ligne et la j i`eme colonne. Soit Aij le d´eterminant de cette sous-matrice. Nous appelons (−1)i+j Aij le cofacteur de l’´el´ement aij dans la matrice A. Soit αi le vecteur de dimension n dont tous les ´el´ements sont nuls sauf le i i`eme , qui ´egale ai1 . Notons alors que les applications successives de (A.21) produisent |A| =

n X

|αi

a2

···

an |.

(A.22)

i=1

Si nous ´ecrivons la i i`eme ligne de la somme indic´ee par i dans (A.22) comme [ai1 ci> ], alors la i i`eme ligne peut ˆetre d´eplac´ee pour devenir la premi`ere, par un processus de i − 1 permutations de lignes, qui g´en`ere un facteur de (−1)i−1. Le r´esultat est le d´eterminant (−1)

i−1

¯ ¯ ai1 ¯ ¯ 0

¯ ci> ¯¯ , Ai1 ¯

dont la valeur est ai1 Ai1 , d’apr`es la d´efinition d’un cofacteur. d´eterminant (A.22) peut ˆetre ´ecrit comme |A| =

n X

ai1 Ai1 .

Ainsi, le

(A.23)

i=1

Puisque Ai1 est lui-mˆeme un d´eterminant, (A.23) permet une ´evaluation r´ecursive d’un d´eterminant quelconque. Nous voyons ais´ement qu’il est possible d’´evaluer la matrice A en d´eveloppant par n’importe quelle ligne ou colonne. Formellement, |A| =

n X i=1

aij Aij =

n X i=1

aji Aji

(A.24)

´terminants A.6 De

787

pour tout j = 1, . . . , n. Ce r´esultat montre `a son tour que |A>| = |A|. Si nous d´eveloppons un d´eterminant par une colonne, disons la j i`eme , et si nous utilisons de faux cofacteurs, c’est-`a-dire ceux qui correspondent `a une autre colonne, disons la k i`eme , alors nous trouvons que n X

aij Aik = 0.

(A.25)

i=1

Ceci est valable parce que (A.25) est le d´eveloppement correct du d´eterminant d’une matrice dans laquelle la k i`eme colonne est remplac´ee par la j i`eme colonne. N’importe quelle matrice dans laquelle au moins deux colonnes sont identiques a un d´eterminant nul, puisque quand la mˆeme colonne survient une seconde fois dans (A.18), elle sera projet´ee sur le compl´ement orthogonal de l’espace qu’elle engendre, en donnant un vecteur de norme nulle. Pour la mˆeme raison, n’importe quelle matrice dans laquelle une colonne est une combinaison lin´eaire des autres aura un d´eterminant nul. Une matrice qui satisfait cette condition ne sera pas de plein rang, et nous voyons aussi qu’une matrice singuli`ere a n´ecessairement un d´eterminant nul. Il n’est pas difficile de voir que la r´eciproque est vraie: une matrice avec un d´eterminant nul est n´ecessairement singuli`ere. Tout ceci est ´egalement pertinent de fa¸con g´eom´etrique, naturellement. Si une matrice de dimension n × n n’est pas de plein rang, le parall´el´epip`ede d´efini par la matrice sera un objet de dimension inf´erieure `a n, et ainsi son volume (dans l’espace de dimension n) sera nul. Les r´esultats (A.24) et (A.25) peuvent ˆetre utilis´es pour construire l’inverse d’une matrice non singuli`ere A. Consid´erons la matrice B avec comme ´el´ement type bij ≡ Aji , qui est juste la transpos´ee de la matrice des cofacteurs. Nous voyons que (AB)ij =

n X

aik Ajk = |A|δij ,

k=1

o` u δij est le delta de Kronecker, ´egal `a 1 si i = j et `a 0 sinon. Ainsi, AB = |A|I, de sorte que |A|−1 B, qui existe si et seulemnt si |A| 6= 0, doit ˆetre l’inverse de A. Le r´esultat (A.24) nous permet de calculer les d´eriv´ees partielles du d´eterminant d’une matrice par rapport aux ´el´ements de la matrice. Le cofacteur Aij est le d´eterminant d’une matrice qui ne contient aucun ´el´ement de la i i`eme ligne ou de la j i`eme colonne de la matrice A. Il s’ensuit que la d´eriv´ee partielle de |A| par rapport `a aij est juste Aij , qui est |A| fois le ji i`eme ´el´ement de la matrice A−1. Ce r´esultat peut ˆetre ´ecrit avec la notation matricielle comme ∂|A| = |A|(A−1 )>. ∂A

`bre Matricielle Alge

788

A partir de ce dernier, nous pouvons en d´eduire le r´esultat encore plus utile selon lequel ∂ log |A| = (A−1 )>. ∂A Bien que le d´eterminant d’une somme de matrices ne soit pas en g´en´eral la somme des d´eterminants, le d´eterminant d’un produit de matrices est le produit des d´eterminants. Soit A et B deux matrices de dimensions n × n, toutes deux avec des d´eterminants non nuls. Ensuite, |AB| = |A||B|. Un corollaire utile est que |A−1 | = |A|−1. Ceci provient des propri´et´es A−1A = I et |I| = 1. Pour conclure cette section, nous prouvons un r´esultat utilis´e dans les Chapitres 18 et 20. Selon ce r´esultat, nous avons ¯ > ¯ ¯ A A A>B ¯ ¯ > ¯¯ > ¯ ¯ > ¯¯ > ¯ ¯ ¯ ¯ ¯¯ ¯ ¯ ¯¯ ¯ ¯ B >A B >B ¯ = A MB A B B = B MA B A A ,

(A.26)

o` u MA et MB sont les projections orthogonales des colonnes des matrices A et B, que l’on peut supposer ˆetre de plein rang sans perte de g´en´eralit´e. Nous utilisons les r´esultats (A.14) et (A.15) sur l’inversion des matrices partitionn´ees comme pr´ec´edemment pour ´ecrire ·

A>A

A>B

B >A B >B

¸·

(A>MB A)−1

0

−(B >B)−1 B >A(A>MB A)−1

I

¸

· =

I

A>B

0 B >B

¸ .

Il est ´evident que le d´eterminant de la matrice du membre de droite est juste |B >B|, tandis que celui du second facteur dans le membre de gauche est |A>MB A|−1. La premi`ere ´egalit´e dans (A.26) en d´ecoule. La seconde ´egalit´e peut ˆetre prouv´ee par un argument similaire, mais en utilisant diff´erentes expressions pour l’inverse de la matrice partitionn´ee.

´finies Positives A.7 Matrices De Une matrice sym´etrique A de dimension n × n est dite d´efinie positive si la forme quadratique x>Ax est positive pour tout vecteur non nul x de dimension n. Si la forme quadratique peut prendre des valeurs nulles, elle est semi-d´efinie positive ou d´efinie non n´egative. Des matrices qui sont d´efinies n´egatives ou semi-d´efinies n´egatives sont d´efinies de fa¸con analogue. N’importe quelle matrice de la forme B >B est d´efinie positive si le rang de la matrice B est ´egal au nombre de colonnes et semi-d´efinie positive sinon. Pour s’en rendre compte, observons que B >B est sym´etrique et que, pour n’importe quel vecteur x non nul, x>B >Bx = (Bx)>(Bx) = kBxk2 ≥ 0.

´finies Positives A.7 Matrices De

789

Ce r´esultat est valable avec l’´egalit´e `a condition que Bx = 0. Mais, dans ce cas, B ne peut pas ˆetre de plein rang, puisque Bx = 0 signifie que les colonnes de B ne sont pas lin´eairement ind´ependantes. Un raisonnement similaire montre que si la matrice A est d´efinie positive, alors n’importe quelle matrice de la forme B >AB est d´efinie positive si la matrice B v´erifie la mˆeme condition de rang, et semi-d´efinie positive sinon. Une matrice d´efinie positive ne peut pas ˆetre singuli`ere, puisque si la matrice A est singuli`ere, il doit exister un vecteur x non nul tel que Ax = 0. Ce qui implique ´egalement que x>Ax = 0. Cela signifie que la matrice A n’est pas d´efinie positive. Ainsi, l’inverse d’une matrice d´efinie positive existe toujours. Elle est ´egalement d´efinie positive, parce que, pour n’importe quel vecteur x non nul, x>A−1 x = x>A−1AA−1 x = (A−1 x)>A(A−1 x) > 0. Ici l’in´egalit´e provient directement du fait que la matrice A est d´efinie positive. Pour n’importe quelle matrice d´efinie positive A, nous pouvons trouver une matrice B telle que A = B >B. Il est souvent n´ecessaire d’´elaborer une telle matrice B `a partir d’une matrice donn´ee A dans des applications ´econom´etriques; un exemple est la matrice η d´efinie dans (9.08). Fr´equemment, nous souhaitons aller plus loin et trouver une matrice triangulaire B. Nous esquissons `a pr´esent un algorithme pour une telle d´ecomposition triangulaire. Il produit une matrice B triangulaire sup´erieure `a partir d’une matrice d´efinie positive donn´ee A. Un algorithme analogue pour produire une matrice B triangulaire inf´erieure peut aussi ˆetre trouv´e. √ Nous commen¸cons par d´efinir b11 = a11 , o` u aij et bij d´esignent les i` e mes ij ´el´ements des matrices A et B, respectivement. La premi`ere ligne enti`ere de la matrice B est ainsi obtenue par une application s´equentielle de la formule suivante, pour j = 2, . . . , n: a1j b1j = . b11 Les lignes suivantes sont calcul´ees de fa¸con s´equentielle, de telle mani`ere que, au cours du calcul de la i i`eme ligne, les ´el´ements de la premi`ere ligne `a la (i − 1) i`eme soient disponibles. Pour la i i`eme ligne, les ´el´ements bij sont initialis´es `a z´ero pour j < i, puisque la matrice B doit ˆetre triangulaire sup´erieure. Alors, le i i`eme ´el´ement diagonal est µ ¶1/2 i−1 X 2 bii = aii − bki , (A.27) k=1

dans lequel le membre entier de droite est connu. Pour compl´eter la ligne, les ´el´ements bij pour j > i sont d´etermin´es par la formule µ ¶ i−1 X 1 aij − bki bkj . bij = bii k=1

790

`bre Matricielle Alge

A nouveau, tout ce qui apparaˆıt dans le membre de droite est disponible `a chaque fois que cela est n´ecessaire. Un calcul que nous ne reproduirons pas montre que la grandeur dont la racine carr´ee est calcul´ee dans (A.27) est positive `a condition que la matrice A soit d´efinie positive, et montre aussi que la matrice B g´en´er´ee par l’algorithme satisfait la contrainte B >B = A. Les r´esultats de la section pr´ec´edente montrent que le d´eterminant d’une matrice triangulaire est juste le produit de ses ´el´ements diagonaux. Ainsi, nous pouvons obtenir le d´eterminant de la matrice B presque comme un sous-produit de l’algorithme destin´e `a trouver la matrice B. Le carr´e du d´eterminant de la matrice B est alors le d´eterminant de la matrice A. Dans certaines manipulations des matrices de covariance dans le texte, nous utilisons le fait que si A et B sont des matrices semi-d´efinies positives, alors A−B est une matrice d´efinie positive si et seulement si B −1 −A−1 l’est. Nous d´emontrons maintenant ce r´esultat tr`es utile. Soit A−1/2 une matrice telle que (A−1/2 )>A−1/2 = A−1. Il peut ˆetre vu que A−1/2A(A−1/2 )> = (A−1/2 )>AA−1/2 = I. Tout d’abord nous montrons que si I−A est une matrice d´efinie positive, alors A−1 − I l’est ´egalement et r´eciproquement. Ceci provient du r´esultat, prouv´e auparavant, qu’en pr´emultipliant une matrice d´efinie positive par n’importe quelle matrice de plein rang et en multipliant ensuite le r´esultat par la transpos´ee de cette matrice, nous obtenons une matrice d´efinie positive. Ainsi, la caract`ere d´efini positif de I − A implique celui de (A−1/2 )>(I − A)A−1/2, qui est juste A−1 − I. Le r´esultat r´eciproque provient de l’inversion des positions des matrices A et A−1. Si A−B est d´efinie positive, alors A−1/2 (A−B)(A−1/2 )> l’est ´egalement, c’est-` a-dire I − A−1/2 B(A−1/2 )>. Le caract`ere d´efini positif de cette derni`ere matrice entraˆıne que de (A1/2 )>B −1 A1/2 − I, o` u la matrice A1/2 est l’inverse de la matrice A−1/2, et ´egalement de (A−1/2 )>(A1/2 )>B −1 A1/2 A−1/2 − (A−1/2 )>A−1/2 , qui est juste B −1 − A−1 , comme requis. A nouveau, le r´esultat r´eciproque provient de l’inversion des positions des matrices et de leurs inverses. Un r´esultat similaire est vrai pour les matrices semi-d´efinies positives: A−B est une matrice semi-d´efinie positive si et seulement si B −1 −A−1 l’est.

A.8 Valeurs Propres et Vecteurs Propres Un scalaire λ est une valeur propre d’une matrice A s’il existe un vecteur non nul x tel que Ax = λx. (A.28) Ainsi, l’action de la matrice A sur x produit un vecteur de mˆeme direction que x, mais de longueur diff´erente `a moins que λ = 1. Le vecteur x est appel´e

A.8 Valeurs Propres et Vecteurs Propres

791

le vecteur propre qui correspond `a la valeur propre λ. Bien que ces id´ees soient d´efinies de fa¸con tr`es g´en´erale, nous restreindrons notre attention ici aux valeurs propres et vecteurs propres des matrices sym´etriques r´eelles. La relation des valeurs propres (A.28) implique que (A − λ I)x = 0,

(A.29)

` partir de laquelle nous concluons que la matrice A − λ I est singuli`ere. Son a d´eterminant, |A − λ I| est par cons´equent ´egal `a z´ero. Il peut ˆetre montr´e de diff´erentes fa¸cons que ce d´eterminant est un polynˆome en λ, de degr´e n si la matrice A est de dimension n × n. Le th´eor`eme fondamental de l’alg`ebre nous indique qu’un tel polynˆome poss`ede n racines complexes, disons λ1 , . . . , λn . A chaque λi doit correspondre un vecteur propre xi . Ce vecteur propre est d´etermin´e `a un facteur d’´echelle pr`es, parce que si xi est un vecteur propre qui correspond `a λi , alors αxi l’est ´egalement pour n’importe quel scalaire α. Le vecteur propre xi n’a pas n´ecessairement des ´el´ements r´eels si λi elle-mˆeme n’est pas r´eelle. Si A est une matrice r´eelle sym´etrique, nous pouvons montrer que les valeurs propres λi sont en fait toutes r´eelles et qu’il est ´egalement possible de choisir des vecteurs propres r´eels. Si A est une matrice d´efinie positive, alors toutes ses valeurs propres sont positives. Ceci provient des faits que x>Ax = λx>x et qu’`a la fois x>x et x>Ax sont positives. Les vecteurs propres d’une matrice sym´etrique r´eelle peuvent ˆetre choisis comme mutuellement orthogonaux. Si nous regardons les deux vecteurs propres xi et xj , qui correspondent aux deux valeurs propres distinctes λi et λj , alors xi et xj sont n´ecessairement orthogonaux: λi xj>xi = xj>Axi = (Axj )>xi = λj xj>xi , ce qui est impossible `a moins que xj>xi = 0. Si toutes les valeurs propres ne sont pas distinctes, alors deux (ou plusieurs) vecteurs propres peuvent correspondre `a une seule et mˆeme valeur propre. Quand cela survient, ces deux vecteurs propres engendrent un espace qui est orthogonal `a toutes les autres valeurs propres d’apr`es le raisonnement pr´ec´edemment ´etabli. Puisque n’importe quelle combinaison lin´eaire des deux vecteurs propres sera ´egalement un vecteur propre qui correspond `a la valeur propre, nous pouvons choisir un ensemble orthogonal de ceux-ci. Ainsi, que les valeurs propres soient toutes distinctes ou non, nous pouvons s´electionner des vecteurs propres orthonormaux, c’est-`a-dire des vecteurs mutuellement orthogonaux et norm´es a 1. Ainsi, les vecteurs propres d’une matrice sym´etrique r´eelle fournissent ` une base orthonorm´ee. Soit U ≡ [ x1 · · · xn ] une matrice dont les colonnes sont un ensemble orthogonal de vecteurs propres de la matrice A, qui correspondent aux valeurs

`bre Matricielle Alge

792

propres λi , i = 1, . . . , n. Nous pouvons alors r´esumer en une seule relation l’ensemble des relations (A.28) entre valeurs propres et vecteurs propres: AU = UΛ,

(A.30)

o` u Λ est une matrice diagonale avec λi pour i i`eme ´el´ement diagonal. La i` i eme colonne de AU est Axi , et la i i`eme colonne de UΛ est λi xi . Puisque les colonnes de U sont orthonormales, nous trouvons que U >U = I, qui implique que U > = U −1. Une telle matrice U est dite matrice orthogonale. La postmultiplication de (A.30) par U > fournit A = UΛU >.

(A.31)

Cette ´equation exprime la diagonalisation de la matrice A. Le calcul des d´eterminants des deux cˆot´es de (A.31) fournit >

|A| = |U ||U ||Λ| = |U ||U

−1

||Λ| = |Λ| =

n Y

λi ,

i=1

calcul `a partir duquel nous d´eduisons le r´esultat important que le d´eterminant d’une matrice est le produit de ses valeurs propres. En fait, ce r´esultat est ´egalement valable pour les matrices non sym´etriques. Un r´esultat utilis´e dans le Chapitre 18 est que si la matrice A est d´efinie positive et si la matrice B semi-d´efinie positive, alors |A + B| ≥ |A|. Nous montrons ceci tout d’abord pour le cas particulier o` u A = I puis en d´eduisons le r´esultat g´en´eral. L’´equation qui d´efinit les valeurs propres de la matrice I + B est |I + B − λI| = 0, a partir de (A.29). Ceci devient ` ¯ ¯ ¯B − (λ − 1)I¯ = 0. Il s’ensuit que les valeurs propres λi de I + B satisfont l’´equation λi = 1 + µi , o` u µi est une valeur propre de la matrice B. Si B est une matrice semid´efinie positive, ses valeurs propres sont toutes sup´erieures ou ´egales `a 0, ce qui implique que les valeurs propres de la matrice I+B sont toutes sup´erieures ou ´egales `a 1. Puisque le d´eterminant d’une matrice est le produit de ses valeurs propres, nous concluons que le d´eterminant de la matrice I + B est sup´erieur ou ´egal ` a 1, valeur du d´eterminant de la matrice I. 1/2 Soit A une matrice telle que A1/2 (A1/2 )> = A. Alors, si B est une matrice semi-d´efinie positive, ¯ ¯ ¡ ¢ |A + B| = ¯A1/2 I + A−1/2 B(A−1/2 )> (A1/2 )> ¯ ¯ ¯2 ¯ ¯ (A.32) = ¯(A1/2 )¯ ¯I + A−1/2 B(A−1/2 )> ¯.

A.8 Valeurs Propres et Vecteurs Propres

793

La matrice A−1/2 B(A−1/2 )> est semi-d´efinie positive parce que la matrice B l’est, ce qui rend le dernier facteur dans (A.32) sup´erieur `a 1. Puisque ¯ 1/2 ¯2 ¯(A )¯ = |A|, nous voyons que |A + B| ≥ |A|, comme pr´evu.

`bre Matricielle Alge

794

Termes et Concepts angle entre deux vecteurs application d´efinie par une matrice application inverse base orthogonale base orthonorm´ee bijection blocs d’une matrice partitionn´ee cofacteur compl´ement orthogonal (d’un sous-espace) d´ecomposition triangulaire d´eterminant d´eveloppement du d´eterminant (d’apr`es une ligne ou une colonne) diagonale principale d’une matrice carr´ee diagonalisation (d’une matrice sym´etrique r´eelle) dimension (d’un espace Euclidien) distance entre deux points dans E n espace d’arriv´ee d’une application espace de d´epart d’une application espace engendr´e (des colonnes d’une matrice) espace euclidien de dimension n, E n faux cofacteurs fonctions trigonom´etriques: sinus, cosinus, tangente, cotangente, s´ecante, cos´ecante image d’une matrice image et ant´ec´edent longueur (ou norme) d’un vecteur matrice carr´ee matrice carr´ee non singuli`ere matrice carr´ee singuli`ere matrice d´efinie n´egative matrice d´efinie positive matrice diagonale matrice identit´e matrice inverse

matrice inversible matrice orthogonale matrice partitionn´ee matrice semi-d´efinie n´egative matrice semi-d´efinie-positive (ou d´efinie non n´egative) matrice sym´etrique matrice triangulaire matrice triangulaire inf´erieure matrice triangulaire sup´erieure matrices conformes norme (d’une matrice) noyau (d’une matrice) parall´el´epip`ede parall´elogramme permutation cyclique (des facteurs d’un produit de matrice) plein rang postmultiplication pr´emultiplication produit direct (produit Schur) produit ext´erieur produit int´erieur naturel produit int´erieur (produit scalaire) propri´et´e associative (pour l’addition et la multiplication matricielle) propri´et´e distributive (pour l’addition et la multiplication matricielle) rang d’une matrice trace d’une matrice transpos´ee d’une matrice valeur propre vecteur colonne vecteur ligne vecteur propre vecteurs lin´eairement d´ependants vecteurs lin´eairement ind´ependants vecteurs orthogonaux vecteurs parall`eles