линейная-алгебра - Какие уравнение должны не иметь решений

Здесь в вопросе ничего не сказано о том, какие значения могут принимать элементы матриц, а ответы от этого могут зависеть.

В первом пункте для матриц порядка $%n\ge2$% уравнение имеет решение даже для матриц с действительными коэффициентами. Примером может служить матрица $$X=\begin{pmatrix} 0 & 1 \\ -1 & 0 \end{pmatrix}.$$

В втором пункте уравнение не имеет решений для матриц с действительными коэффициентами. Это следует из того, что при умножении матрицы на транспонированную по диагонали получаются суммы квадратов вида $%x_{1j}^2+\cdots+x_{nj}^2$%, поэтому отрицательные числа появиться не могут. Для комплексного случая решения есть: достаточно взять матрицу $$X=\begin{pmatrix} i & 0 \\ 0 & i \end{pmatrix}=X^T.$$

В третьем примере следует отметить, что матрицы $%XY$% и $%YX$% имеют одинаковый след (сумму диагональных элементов). Это нетрудно выводится из определения матричного умножения. Поэтому у матрицы $%XY-YX$% след всегда нулевой, а у матрицы $%E$% он равен $%n$%. Значит, над "классическими" полями типа $%\mathbb R$% или $%\mathbb C$% матричное уравнение не имеет решений. Но оно может иметь решения над конечными полями (скажем, над полем из двух элементов).