сложность-алгоритма - Посчитать О-большое

Формально это правильно, хотя обычно так не пишут. $% f_n=O(g_n) $% означает $%|\frac{f_n}{g_n}|\leq M, при \; n \rightarrow \infty$%. Но обычно при такой записи подразумевается, что не только $% f_n=O(g_n) $%, но и $% g_n=O(f_n) $%, в противном случае используется o-малое.

То же самое можно сказать и о втором примере.

Ответ на комментарий. Все правильно, можно, конечно писать $% n^2-6n+5 \leq c \cdot n^3 $%, но лучше $%|\frac{n^2-6n+5}{n^3}| \leq c \sim |\frac{n^2}{n^3}| \leq c \sim \frac{1}{n} \leq c$%.
Аналогично, во втором примере $%|\frac{n \cdot (ln(n))^2}{n^3}| \leq c \sim \frac{(ln(n))^2}{n^2} \leq c \sim (\frac{ln(n)}{n})^2 \leq c $%, что тоже верно.

Но еще раз повторяю, обычно при использовании O-большого имеют в виду двойное неравенство$%с_1 \leq |\frac{f_n}{g_n}| \leq c_2$% с положительным (а не нулевым!) $%c_1 $% .
Если же такое неравенство возможно только при $%c_1=0 $%, то используют o-малое.