>(Q1)去年、微分方程式を扱った講義で、例えばy"+3y'+4y=0を(D^2+3D+4)y=0【「D^2」はDの2乗の意】
>の様に書いておられましたが、Dとは何ものなのですか?

函数全体のなすベクトル空間をVとするとき、VからVへの線型写像で、f(x)に対しf'(x)を対応させるものをDと書きました。（こういう記号を使う人は多いですが、Dなんて何にでも使われる記号なので、断りなしに用いてはいけません。Dが判別式を意味するということを断らずにいきなりD=...とやってはいけないというのと同じです。）平面（２次元ベクトル空間）から平面への線型写像が２次正方行列で表されたように、この線型写像も行列のようなもの（行列で表すと実は無限行無限列の行列になりますが）と思って下さい。一方、函数yは縦ベクトルだと思うわけです。D^2+3D+4という線型写像は与えられた函数yをy"+3y'+4yに対応させる写像です。

>また左辺が(D+3)(D+1)y=0の様に因数分解可能なのは何故ですか?

非常に良い質問です。VからVへの線型写像に対しては行列と同じ計算法則が成り立つのです。実際、z=(D+1)yと置きますと定義により、z=(D+1)y=y'+yであり、同様に(D+3)z=z'+3zです。
従って、(D+3)(D+1)y=(D+3)z=z'+3z=(y'+y)'+3(y+y')=y"+4y'+3y
で確かに(D+3)(D+1)y=(D^2+4D+3)yになっていることが確かめられます。

>(Q2)空間が線形であるための条件というものはあるのですか?

答は、「線型」という言葉で君が何を意味しているかに依りますが、普通はその空間がベクトル空間であることと同じです。

>(Q3)2変数以上の関数の極値問題でヘッシアンが0の時はどの様にして極値判定すればよいのですか?

一般的な方法はありません。問題に応じて個別に工夫するしかありません。極大でも極小でもない、ということを示すには反例を挙げればよい（その点での値より小さい値を取る点と大きい値を取る点の両方が、その点のいくらでも近くに見出せることを言えばよい）ので比較的簡単ですが、ヘッシアンが０で極大や極小になっている場合には証明するのにも工夫が要ります。