дифференциальные-уравнения - Линейное ДУ с постоянными коэффициентами

Cинус является мнимой частью комплекснозначной функции e^{ix} действительного аргумента. Поэтому при нахождении частного решения мы берём квазимногочлен p(x)e^{ix}, находим подходящую функцию, и у неё выделяем мнимую часть. Здесь p(x) имеет комплексные коэффициенты.

Если y=pe^{ix}, то y'=(p'+ip)e^{ix} и y''=(p''+2ip'-p)e^{ix}. Мы ищем такое p, чтобы в правой части получилось 3xe^{ix} (синус заменили на экспоненту, мнимой частью которой он является). Это даёт y''+4y=(p''+2ip'+3p)e^{ix}=3xe^{ix}, то есть p''+2ip'+3p=3x.

В "обычном" случае, когда коэффициент при x в показателе экспоненты не равен никакому характеристическому корню (а здесь это так), степень p можно считать равной степени многочлена в правой части. То есть ищем p в виде линейного многочлена: p(x)=ax+b, где a, b -- неизвестные комплексные числа. Понятно, что p'=a, p''=0, откуда 2ia+3ax+3b=3x. Тождество имеет место при a=1, b=-2i/3. То есть частное решение имеет вид (x-2i/3)e^{ix}=(x-2i/3)(cos x+i sin x), и остаётся выделить мнимую часть, которая здесь равна x sin x-(2/3)cos x. Это и будет искомое частное решение. Общее решение неоднородного уравнения в ответе даётся как сумма общего решения однородного (Вы его нашли), и этого частного решения.

Процедура достаточно общая, и она несложная. Если в правой части было бы, например, x^2e^{2x}cos3x, то мы искали бы решение в виде p(x)e^{(2+3i)x}, а потом выделяли бы действительную часть.