ある円に内接する、別の円の方程式を求める問題ですね。
2つの円が接するときは、外接と内接で2パターンあるのがポイントでした。

求めたい円の中心は(1,2)とわかっていますが、半径がわかっていません。
(x-1)²+(y-2)²=r²(r>0)とおきます。

この円が、円Cと「 内接 する」という言葉に注目しましょう。
2つの円は 内接 しているので、
d=r₁-r₂
となりますね。

円Cは中心(0,0),半径2√5の円なので、
中心間距離は d=√5
半径の差は r-2√5 または 2√5-r
です。

d=r₁-r₂
⇔√5=r-2√5または√5=2√5-r
⇔r=3√5,√5
と求まります。