座標空間内の 4 点 \mathrm{O}\,(0,\,0,\,0), \mathrm{A}\,(2,\,0,\,0), \mathrm{B}\,(1,\,1,\,1), \mathrm{C}\,(1,\,2,\,3) を考える。
(1) \vec{\mathrm{OP}} \perp \vec{\mathrm{OA}}, \vec{\mathrm{OP}} \perp \vec{\mathrm{OB}}, \vec{\mathrm{OP}} \cdot \vec{\mathrm{OC}} = 1 を満たす点 \mathrm{P} の座標を求めよ。
(2) 点 \mathrm{P} から直線 \mathrm{AB} に垂線を下ろし，その垂線と直線 \mathrm{AB} の交点を \mathrm{H} とする。\vec{\mathrm{OH}} を \vec{\mathrm{OA}} と \vec{\mathrm{OB}} を用いて表せ。
(3) 点 \mathrm{Q} を \vec{\mathrm{OQ}} = \dfrac{3}{4}\vec{\mathrm{OA}} + \vec{\mathrm{OP}} により定め，\mathrm{Q} を中心とする半径 r の球面 S を考える。S が三角形 \mathrm{OHB} と共有点を持つような r の範囲を求めよ。ただし，三角形 \mathrm{OHB} は 3 点 \mathrm{O}, \mathrm{H}, \mathrm{B} を含む平面内にあり，周とその内部からなるものとする。
\mathrm{P}\,(p,\,q,\,r) とおきます。\vec{\mathrm{OP}} \perp \vec{\mathrm{OA}} は 2p = 0 ですから p = 0 です。
\vec{\mathrm{OP}} \perp \vec{\mathrm{OB}} は p+q+r = 0 で，p = 0 と合わせて r = -q となります。これで向きが決まり，残る 1 つの条件が長さを決めます。
\vec{\mathrm{OP}} \cdot \vec{\mathrm{OC}} = p + 2q + 3r = -q = 1 から q = -1, r = 1 です。よって \mathrm{P}\,(0,\,-1,\,1) です。
\vec{\mathrm{OP}} は \vec{\mathrm{OA}} とも \vec{\mathrm{OB}} とも垂直なので，\mathrm{O}, \mathrm{A}, \mathrm{B} を含む平面に垂直です。(3) でここが効きます。
直線 \mathrm{AB} 上の点は (1-t)\vec{\mathrm{OA}} + t\vec{\mathrm{OB}} と書けます。成分では (2-t,\, t,\, t) です。
これを \mathrm{H} とすると \vec{\mathrm{PH}} = (2-t,\, t+1,\, t-1) です。これが \vec{\mathrm{AB}} = (-1,\, 1,\, 1) と垂直になる t を探します。
\vec{\mathrm{PH}} \cdot \vec{\mathrm{AB}} = -(2-t) + (t+1) + (t-1) = 3t-2 = 0 ですから t = \dfrac{2}{3} です。
よって \vec{\mathrm{OH}} = \dfrac{1}{3}\vec{\mathrm{OA}} + \dfrac{2}{3}\vec{\mathrm{OB}} です。成分では \mathrm{H}\left(\dfrac{4}{3},\, \dfrac{2}{3},\, \dfrac{2}{3}\right) になります。
\vec{\mathrm{OQ}} = \dfrac{3}{4}\vec{\mathrm{OA}} + \vec{\mathrm{OP}} ですから \mathrm{Q}\left(\dfrac{3}{2},\, -1,\, 1\right) です。球面が三角形と出会うかどうかは，\mathrm{Q} から三角形までの距離だけで決まります。
\mathrm{O}, \mathrm{H}\left(\dfrac{4}{3},\, \dfrac{2}{3},\, \dfrac{2}{3}\right), \mathrm{B}\,(1,\,1,\,1) は，どれも y 座標と z 座標が等しくなっています。三角形 \mathrm{OHB} は平面 y = z の上にあります。
そこで三角形の上の点を \mathrm{R}\,(w,\, u,\, u) と書きます。すると |\vec{\mathrm{QR}}|^2 = \left(w-\dfrac{3}{2}\right)^2 + (u+1)^2 + (u-1)^2 = \left(w-\dfrac{3}{2}\right)^2 + 2u^2 + 2 となります。
(u+1)^2 と (u-1)^2 で u の 1 次の項が打ち消し合い，w と u が別々になりました。あとは (w,\, u) の動く範囲でこれを最小最大にするだけです。
(w,\, u) の動く範囲は，(0,\,0), \left(\dfrac{4}{3},\, \dfrac{2}{3}\right), (1,\,1) を頂点とする三角形です。
\left(w-\dfrac{3}{2}\right)^2 + 2u^2 が 0 になる \left(\dfrac{3}{2},\, 0\right) は，この三角形の外にあります（三角形の中で w は \dfrac{4}{3} までしか大きくなりません）。だから最小は辺の上で起きます。
辺 \mathrm{OH} は w = 2u で，6u^2-6u+\dfrac{17}{4} となり u = \dfrac{1}{2} で \dfrac{11}{4} です。辺 \mathrm{OB} は w = u で \dfrac{7}{2} まで，辺 \mathrm{HB} は w+u = 2 で \dfrac{35}{12} までしか下がりません。最小値は \dfrac{11}{4} です。
最大は下に凸な式なので頂点で取ります。\mathrm{O} で \dfrac{17}{4}，\mathrm{H} で \dfrac{35}{12}，\mathrm{B} で \dfrac{17}{4} ですから \dfrac{17}{4} です。距離は切れ目なく変わるので，\dfrac{\sqrt{11}}{2} \leqq r \leqq \dfrac{\sqrt{17}}{2} がそのまま答えになります。