正方形ＥＦＧＨの面積の最小値を求める問題だね。文章の中に、ｘ、ｙが登場することから 「関数の文章題」 であることに気付けたかな？
ポイントは以下の通りだよ。２つの手順を意識するんだ。

まずは文章の中の情報を、どんどん図に書き込んで、目に見えるようにしていこう。

ＡＨ＝ｘcm 、 正方形ＥＦＧＨ＝ｙcm² はすぐに書き込めるね。
四角形ＥＦＧＨが 正方形 になることから、 ＡＨ＝ＢＥ ということに気づけると、 ＡＥ＝（１０－ｘ）cm ということも分かるよ。

さて、これらのヒントを使って、 「ｙ＝（ｘの式）」 を作ることを考えよう。

四角形ＥＦＧＨは 正方形 であるから、
ｙ＝ＥＨ²
とできるね。

ここで、ＥＨをなんとか（ｘの式）に変換できないかを考えよう。すると、 直角三角形ＡＥＨ について、 「三平方の定理」 が使えることに気づけるかな？
ＥＨ²＝ＡＨ²＋ＡＥ²
ＥＨ²＝ｘ²＋（１０－ｘ）²
とできるね。

これで、 「ｙ＝（ｘ²の式）」 を作ることができたよ。

２次関数
ｙ＝２ｘ²－２０ｘ＋１００
について、ｙの最小値を求めれば答えになるね。

ｙ＝２ｘ²－２０ｘ＋１００
　＝２（ｘ²－１０ｘ）＋１００
　＝ ２（ｘ－５）²＋５０
これは、 頂点（５，５０） を通る、 下に凸 な放物線になるね。
つまり２次関数はｘ＝５のとき最小値５０となるよ。

ただし、１辺１０cmの正方形ＡＢＣＤの中に 正方形ＥＦＧＨが存在しないといけない から、 ｘには０＜ｘ＜１０という範囲がある ことに注意しよう。