Hadamard-Produkt

Beim Hadamard-Produkt weisen alle involvierten Matrizen die gleiche Spalten- und Zeilenzahl auf.

Das Hadamard-Produkt, Schur-Produkt, komponentenweises Produkt oder elementweises Produkt ist in der Mathematik ein spezielles Produkt zweier Matrizen gleicher Größe. Die resultierende Matrix ergibt sich dabei durch Multiplikation der jeweils entsprechenden Einträge der beiden Ausgangsmatrizen. Das Hadamard-Produkt ist assoziativ, mit der Matrizenaddition distributiv und kommutativ, falls der zugrunde liegende Ring ebenfalls kommutativ ist.

Das Hadamard-Produkt weist einige interessante Eigenschaften auf. So ist beispielsweise das Hadamard-Produkt zweier positiv semidefiniter Matrizen wieder positiv semidefinit. Weiter lassen sich verschiedene Kenngrößen (wie Norm, Rang oder Spektralradius) des Hadamard-Produkts über das Produkt der jeweiligen Kenngrößen der Ausgangsmatrizen abschätzen. Im Vergleich zum komplexeren Matrizenprodukt ist das Hadamard-Produkt allerdings in der Praxis weniger bedeutsam. Es ist nach den Mathematikern Jacques Hadamard und Issai Schur benannt.

Definition[Bearbeiten]

Datei:Hadamard product qtl2.svg

Bei der Berechnung des Hadamard-Produkts werden die Matrixeinträge komponentenweise miteinander multipliziert.

Ist <math>(R,+,\cdot)</math> ein Ring und sind <math>A = (a_{ij}) \in R^{m \times n}</math> sowie <math>B = (b_{ij}) \in R^{m \times n}</math> zwei Matrizen über <math>R</math>, dann wird das Hadamard-Produkt von <math>A</math> und <math>B</math> durch

<math>A \circ B = ( a_{ij} \cdot b_{ij} ) = \begin{pmatrix} a_{11} \cdot b_{11} & \cdots & a_{1n} \cdot b_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} \cdot b_{m1} & \cdots & a_{mn} \cdot b_{mn} \end{pmatrix} \in R^{m \times n}</math>

definiert. Das Ergebnis ist damit eine Matrix der gleichen Größe, wobei sich jeder Eintrag durch komponentenweise Multiplikation der Einträge der Matrix <math>A</math> mit den Einträgen der Matrix <math>B</math> berechnet.<ref name="horn88">Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 88.</ref> Als Operatorsymbol wird für das Hadamard-Produkt gelegentlich auch das Zeichen <math>\odot</math> verwendet.<ref>Christian Voigt, Jürgen Adamy: Formelsammlung der Matrizenrechnung. Oldenbourg, München u. a. 2007, ISBN 978-3-486-58350-2, S. 13. </ref>

Beispiel[Bearbeiten]

Das Hadamard-Produkt der beiden reellen (2 × 2)-Matrizen

<math>A = \begin{pmatrix} 3 & 2 \\ 0 & 1 \end{pmatrix}</math> und <math>B = \begin{pmatrix} 1 & 2 \\ 3 & 1 \end{pmatrix}</math>

ist gegeben durch

<math>A \circ B = \begin{pmatrix} 3 \cdot 1 & 2 \cdot 2 \\ 0 \cdot 3 & 1 \cdot 1 \end{pmatrix} = \begin{pmatrix} 3 & 4 \\ 0 & 1 \end{pmatrix}</math>.

Eigenschaften[Bearbeiten]

Rechengesetze[Bearbeiten]

Das Hadamard-Produkt erbt im Wesentlichen die Eigenschaften des zugrunde liegenden Rings.<ref name="horn88" /> Es ist immer assoziativ, das heißt für Matrizen <math>A,B,C \in R^{m \times n}</math> gilt

<math>A \circ (B \circ C) = ( A \circ B ) \circ C</math>,

und es ist verträglich mit der Multiplikation von Skalaren <math>a \in R</math>, also

<math>a \, (A \circ B) = ( a \, A ) \circ B = A \circ ( a \, B )</math>.

Ist der zugrunde liegende Ring kommutativ, so ist auch das Hadamard-Produkt kommutativ, das heißt

<math>A \circ B = B \circ A</math>,

worin es sich von dem normalerweise verwendeten Matrizenprodukt unterscheidet. Mit der komponentenweisen Matrizenaddition <math>A + B</math> gelten auch die Distributivgesetze

<math>(A + B) \circ C = A \circ C + B \circ C</math> und <math>A \circ (B + C) = A \circ B + A \circ C</math>.

Für die transponierte Matrix eines Hadamard-Produkts gilt zudem

<math>(A \circ B)^T = A^T \circ B^T</math>.

Das Hadamard-Produkt zweier symmetrischer Matrizen ist demnach wieder symmetrisch.

Algebraische Strukturen[Bearbeiten]

Die Menge der Matrizen über einem Ring bildet mit der Matrizenaddition und dem Hadamard-Produkt wieder einen Ring <math>(R^{m \times n}, +, \circ)</math>. Ist <math>R</math> ein unitärer Ring mit Einselement <math>1</math>, dann besitzt auch der Matrizenring ein Einselement, die Einsmatrix <math>J \in R^{m \times n}</math>, bei der alle Elemente gleich <math>1</math> sind. Mit der Einsmatrix gilt dann für alle Matrizen <math>A \in R^{m \times n}</math>

<math>A \circ J = J \circ A = A</math>.

Ist <math>R</math> ein Körper, dann heißt eine Matrix <math>A</math> Hadamard-invertierbar, wenn alle Einträge von <math>A</math> ungleich dem Nullelement sind.<ref name="horn88" /> Die Menge der Hadamard-invertierbaren Matrizen bildet dann eine Gruppe <math>(R^{m \times n}, \circ)</math>, wobei die Einträge der Hadamard-Inversen <math>\hat{A} = (\hat{a}_{ij})</math> von <math>A</math> durch

gegeben sind. Im Weiteren werden nur Matrizen über dem Körper <math>\mathbb K</math> der reellen oder komplexen Zahlen betrachtet.

Positive Definitheit[Bearbeiten]

Sind die quadratischen Matrizen <math>A,B \in \mathbb{K}^{n \times n}</math> positiv semidefinit, so ist auch ihr Hadamard-Produkt <math>A \circ B</math> positiv semidefinit und für die Eigenwerte von <math>A \circ B</math> gilt

<math>\left( \min_{1 \leq i \leq n} a_{ii} \right) \lambda_{\min} (B) \leq \lambda{_\min} (A \circ B) \leq \lambda{_\max} (A \circ B) \leq \left( \max_{1 \leq i \leq n} a_{ii} \right) \lambda{_\max} (B)</math>.

Wenn <math>B</math> positiv definit ist und <math>A</math> positiv semidefinit mit positiven Hauptdiagonaleinträgen ist, dann ist auch das Hadamard-Produkt <math>A \circ B</math> positiv definit. Diese Aussagen gehen auf Issai Schur zurück, der sie 1911 erstmals formulierte.<ref name="horn95">Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 95.</ref>

Diagonalmatrizen[Bearbeiten]

Ist <math>D \in \mathbb{K}^{n \times n}</math> eine Diagonalmatrix, dann gelten für das Hadamard-Produkt und die Matrixmultiplikation folgende Gleichungen:<ref>George P. H. Styan, McGill University: Hadamard Products and Multivariate Statistical Analysis</ref>

Diagonalisierbare Matrizen[Bearbeiten]

Sei <math>A \in \mathbb{K}^{n \times n}</math> eine diagonalisierbare Matrix mit dem Diagonalvektor <math>(a_{11}, a_{22}, \ldots, a_{nn})^T</math>, den Eigenwerten <math>\lambda_1, \lambda_2, \ldots, \lambda_n</math> und der Diagonalisierung <math>A = SDS^{-1}</math>, wobei <math>D</math> eine Diagonalmatrix und <math>S</math> eine reguläre Matrix ist. Dann gilt:<ref name=":0">Elizabeth Million, University of Puget Sound: The Hadamard Product</ref>

<math>\begin{pmatrix} a_{11} \\ a_{22} \\ \vdots \\ a_{nn} \end{pmatrix} = (S \circ (S^{-1})^T) \begin{pmatrix} \lambda_1 \\ \lambda_2 \\ \vdots \\ \lambda_n \end{pmatrix}</math>

Singulärwertzerlegung[Bearbeiten]

Sei <math>A \in \mathbb{K}^{n \times n}</math> eine Matrix mit Singulärwertzerlegung <math>A = U \Sigma V^*</math> und den Singulärwerten <math>\sigma_1, \sigma_2, \ldots, \sigma_n</math>. Dann gilt:<ref name=":0" />

<math>\begin{pmatrix} a_{11} \\ a_{22} \\ \vdots \\ a_{nn} \end{pmatrix} = (U \circ (V^*)^T) \begin{pmatrix} \sigma_1 \\ \sigma_2 \\ \vdots \\ \sigma_n \end{pmatrix}</math>

Abschätzungen[Bearbeiten]

Spektralnorm[Bearbeiten]

Ist die quadratische Matrix <math>A \in \mathbb{K}^{n \times n}</math> positiv definit, dann gilt für die Spektralnorm eines Hadamard-Produkts

<math>\| A \circ B \|_2 \leq \left( \max_{1 \leq i \leq n} a_{ii} \right) \| B \|_2</math>.

Ist <math>A = X^H Y</math> das Produkt zweier Matrizen, dann gilt

<math>\| A \circ B \|_2 \leq c(X) c(Y) \| B \|_2</math>,

wobei <math>c(Z)</math> die maximale euklidische Norm der Spaltenvektoren von <math>Z</math> ist. Insgesamt erhält man so die Abschätzung:

<math>\| A \circ B \|_2 \leq \| A \|_2 \cdot \| B \|_2</math>.

Diese drei Abschätzungen gehen ebenfalls auf Issai Schur zurück.<ref name="horn95" />

Kronecker-Produkt[Bearbeiten]

Das Kronecker-Produkt <math>A \otimes B</math> liefert als Resultat eine große Matrix, die durch Betrachtung aller möglichen Produkte von Einträgen der beiden Ausgangsmatrizen entsteht. Sind die Matrizen <math>A, B \in \mathbb{K}^{m \times n}</math>, dann finden sich die Einträge des Hadamard-Produkts <math>A \circ B</math> genau an den Schnittpunkten der Spalten <math>1, n+2, 2n+3, \ldots , n^2</math> mit den Zeilen <math>1, m+2, 2m+3, \ldots , m^2</math> des entsprechenden Kronecker-Produkts. Das Hadamard-Produkt ist somit eine Untermatrix des Kronecker-Produkts. Daher gilt für die Spektralnorm eines Hadamard-Produkts<ref name="horn96">Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 96–100.</ref>

<math>\| A \circ B \|_2 \leq \| A \otimes B \|_2 = \| A \|_2 \cdot \| B \|_2</math>

und für den Rang eines Hadamard-Produkts<ref name="horn96" />

<math>\operatorname{rang}(A \circ B) \leq \operatorname{rang}(A \otimes B) = \operatorname{rang}(A) \cdot \operatorname{rang}(B)</math>.

Haben zwei Matrizen <math>A</math> und <math>B</math> nur nichtnegative Einträge, dann gilt dies auch für <math>A \circ B</math> und <math>A \otimes B</math>. Sind dabei <math>A</math> und <math>B</math> quadratisch, dann gilt für den Spektralradius (den Betrag des betragsmäßig größten Eigenwerts) eines Hadamard-Produkts<ref name="horn96" />

<math>\rho(A \circ B) \leq \rho(A \otimes B) = \rho(A) \cdot \rho(B)</math>.

Induzierte Sesquilinearform[Bearbeiten]

Für Diagonalmatrizen <math>A,B \in \mathbb{K}^{n \times n}</math> (und nur für diese) stimmen das Hadamard-Produkt und das normale Matrizenprodukt überein:

<math>A \circ B = A \cdot B</math>.

Sind nun <math>A,B \in \mathbb{K}^{n \times n}</math> beliebig, <math>x,y \in \mathbb{K}^n</math> zwei (Spalten-)Vektoren und <math>D_x,D_y \in \mathbb{K}^{n \times n}</math> zwei Diagonalmatrizen mit den Einträgen von <math>x</math> und <math>y</math> auf der Diagonalen, dann gilt<ref name="horn100">Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 100–104.</ref>

<math>x^H(A \circ B)y = \operatorname{spur}(D_x^H \cdot A \cdot D_y \cdot B^T)</math>.

Demnach kann die Sesquilinearform, die durch das Hadamard-Produkt erzeugt wird, als Spur geschrieben werden. Hieraus folgt beispielsweise die Submultiplikativität der Frobeniusnorm bezüglich des Hadamard-Produkts:<ref name="horn100" />

Programmierung[Bearbeiten]

Das Hadamard-Produkt ist in Programmiersystemen auf unterschiedliche Weise integriert:

In dem numerischen Softwarepaket Matlab wird das Hadamard-Produkt durch die Symbolkombination .* dargestellt, während * für das Matrizenprodukt steht.<ref>Christoph Überhuber, Stefan Katzenbeisser, Dirk Praetorius: MATLAB 7. Eine Einführung. Springer, Wien u. a. 2005, ISBN 3-211-21137-3, S. 81. </ref>
In der Programmiersprache Fortran wird das Hadamard-Produkt durch den einfachen Multiplikationsoperator * realisiert, während für die Matrizenmultiplikation eine eigene Routine matmul zur Verfügung steht. Diese Benennungen wurden auch für NumPy in Python übernommen.
In der Statistiksoftware R wird das Hadamard-Produkt durch * dargestellt, während die Matrizenmultiplikation durch %*% realisiert wird.
In Shader-Programmiersprachen wie GLSL berechnet der Operator * zwischen zwei Vektoren das Hadamard-Produkt von eben diesen. Ebenso berechnet der Operator / die Hadamard-Division zwischen zwei Vektoren. Allerdings dient der Operator * auch dazu, um das Matrix-Matrix- und das Matrix-Vektor-Produkt zu berechnen.<ref>John Kessenich, Dave Baldwin, Randi Rost: The OpenGL Shading Language, Version 4.60.8. In: Khronos.org. Khronos Group, 14. August 2023, abgerufen am 29. November 2024 (Lua-Fehler in Modul:Multilingual, Zeile 153: attempt to index field 'data' (a nil value)). </ref>

Analog: Elementweise Division[Bearbeiten]

<math>A \oslash B = ( a_{ij} / b_{ij} ) = \begin{pmatrix} a_{11} / b_{11} & \cdots & a_{1n} / b_{1n} \\ \vdots & \ddots & \vdots \\ a_{m1} / b_{m1} & \cdots & a_{mn} / b_{mn} \end{pmatrix} \in R^{m \times n}</math>, mit <math>b_{ij} \neq 0</math>

Literatur[Bearbeiten]

Roger A. Horn: The Hadamard Product. In: Charles R. Johnson (Hrsg.): Matrix Theory and Applications (= Proceedings of Symposia in Applied Mathematics. Band 40). American Mathematical Society, Providence RI 1990, ISBN 0-8218-0154-6, S. 87–170.
Roger A. Horn, Charles R. Johnson: Topics in Matrix Analysis. 1st paperback edition. Cambridge University Press, Cambridge u. a. 1994, ISBN 0-521-46713-6, S. 298–381.

Einzelnachweise[Bearbeiten]