D は \mathrm{O} を頂点とする角の内側

\vec{\mathrm{OR}} = (1-t)\vec{\mathrm{OA}}+t\vec{\mathrm{OB}} とおくと、\mathrm{R} は線分 \mathrm{AB} の上の点です。\dfrac{1}{5} \leqq t \leqq \dfrac{3}{5} で、\mathrm{R} は \mathrm{R}_1(1,\ 2,\ -2) から \mathrm{R}_2(3,\ 0,\ 4) までの線分を動く。

\vec{\mathrm{OP}} = s\vec{\mathrm{OR}}（s \geqq 0）だから、D は \mathrm{O} から出る 2 本の半直線 \mathrm{OR}_1、\mathrm{OR}_2 にはさまれた、平面 \mathrm{OAB} の上の領域です。D に含まれる円は、この平面の上にある。

2 本の半直線のなす角は \cos\theta = -\dfrac{1}{3}

|\vec{\mathrm{OR}_1}| = 3、|\vec{\mathrm{OR}_2}| = 5、\vec{\mathrm{OR}_1} \cdot \vec{\mathrm{OR}_2} = 3+0-8 = -5 です。なす角を \theta とすると、\cos\theta = \dfrac{-5}{3 \cdot 5} = -\dfrac{1}{3} となる。

半角の公式から \sin^2\dfrac{\theta}{2} = \dfrac{1-\cos\theta}{2} = \dfrac{2}{3} で、\sin\dfrac{\theta}{2} = \dfrac{\sqrt{6}}{3} です。

2 本の半直線に接するとき、中心は \mathrm{O} にいちばん近い

円が D に入るには、中心 \mathrm{M} から 2 本の半直線を含む直線までの距離が、どちらも半径 10\sqrt{2} 以上でなければならない。\mathrm{OM} と 2 本の半直線のなす角を \varphi_1、\varphi_2 とすると、\varphi_1+\varphi_2 = \theta で、距離は \mathrm{OM}\sin\varphi_1 と \mathrm{OM}\sin\varphi_2 です。

\varphi_1 と \varphi_2 のどちらかは \dfrac{\theta}{2} 以下で、その角の \sin は \sin\dfrac{\theta}{2} 以下だから、\mathrm{OM} \geqq \dfrac{10\sqrt{2}}{\sin\frac{\theta}{2}} となる。等号は、\mathrm{M} が角の二等分線の上にあって、円が 2 本の半直線の両方に接するときに成り立ちます。

そのとき \mathrm{OM} = 10\sqrt{2} \cdot \dfrac{3}{\sqrt{6}} = 10\sqrt{3} です。