角の条件を内積で書く

\mathrm{P} は xy 平面の点なので \mathrm{P}\,(x,\,y,\,0) と書けます。r = \sqrt{x^2+y^2} とおくと、これが \mathrm{OP} の長さです。

角は内積で測ります。\mathrm{O} から \mathrm{A} へのベクトルは成分 (0,\,-1,\,1)、長さ \sqrt{2} です。\mathrm{O} から \mathrm{P} へのベクトルは (x,\,y,\,0) ですから、内積は -y になります。

(ii) は \cos\angle \mathrm{AOP} = \dfrac{-y}{\sqrt{2}\,r} \leqq \cos\dfrac{2}{3}\pi = -\dfrac{1}{2} ということです。\cos は 0 から \pi で減るので、角の大小と不等号の向きが入れかわります。

整理すると \sqrt{2}\,y \geqq r です。左辺が 0 以上でなければならないので y \geqq 0 で、両辺を 2 乗して 2y^2 \geqq x^2+y^2、つまり y \geqq |x| となります。

(iii) は楕円の内側

こんどは点 \mathrm{A} を頂点とする角です。\mathrm{A} から \mathrm{O} へのベクトルは (0,\,1,\,-1)、\mathrm{A} から \mathrm{P} へのベクトルは (x,\,y+1,\,-1) で、内積は y+2 です。

\mathrm{AP} の長さを d と書くと、(iii) は \cos\angle \mathrm{OAP} = \dfrac{y+2}{\sqrt{2}\,d} \geqq \cos\dfrac{\pi}{6} = \dfrac{\sqrt{3}}{2} ということです。

(ii) から y \geqq 0 なので左辺の分子は正です。2 乗して 4(y+2)^2 \geqq 6\left\{x^2+(y+1)^2+1\right\} を整理すると、3x^2+y^2-2y-2 \leqq 0 となります。

平方完成して 3x^2+(y-1)^2 \leqq 3、つまり x^2+\dfrac{(y-1)^2}{3} \leqq 1 です。中心 (0,\,1)、横の半径 1、縦の半径 \sqrt{3} の楕円の内側でした。

答えは y \geqq |x| と x^2+\dfrac{(y-1)^2}{3} \leqq 1 の共通部分です。境界がどこで交わるかを見ます。

y = x を楕円の式へ入れると 3x^2+(x-1)^2 = 3、つまり 4x^2-2x-2 = 0。(2x+1)(x-1) = 0 ですから x = 1 か x = -\dfrac{1}{2} です。

y = x \geqq 0 の側で使えるのは x = 1、つまり点 (1,\,1) です。左右対称なので y = -x 側では点 (-1,\,1) になります。

つまり原点から出た 2 本の境界線は、ちょうど (\pm 1,\,1) で楕円に出会います。答えの形は、この 2 点と楕円の上側の弧で囲まれた木の葉のような領域です。

最後に (i) です。\mathrm{P} が原点だと \angle \mathrm{AOP} そのものが決まらないので、(i) はそれを断っています。

原点は y \geqq |x| も楕円の内側も満たしてしまうので、ここだけを抜きます。図では白い点で示しました。

まとめると、答えは x^2+\dfrac{(y-1)^2}{3} \leqq 1 かつ y \geqq |x| を満たす点の集合から、原点を除いたものです。境界は含みます。

2 本の直線が角を作り、その角を楕円が切り取っている、と読むと形が覚えやすいと思います。