2次方程式の文章問題だね。
ポイントをおさえて、１つ１つ整理していけば、いつもの方程式に変換できるよ。

まずはじめに、 「求められているものをｘとおく」 よ。
この問題では、求められているものが２つあるよね。長方形の「縦の長さ」と、「横の長さ」だね。

とりあえず縦の長さをｘmとおいてみよう。
このとき、 横の長さをｘで表すことはできないかな ？
長方形の１周の長さが４０mということは、長方形の縦１辺と横１辺の長さを合わせると、１周の半分だから２０mになるよね。
つまり、（横の長さ）＝２０－ｘで表すことができるんだ。

次に、 「『＝』で結べる式を見つける」 よ。
（縦の長さ）×（横の長さ）＝（長方形の面積）だから、
ｘ×（２０－ｘ）＝９６
ｘ²－２０ｘ＋９６＝０
（ｘ－８）（ｘ－１２）＝０
ここまで来れば、簡単に解けるね。