k を実数とし，座標平面上の曲線 C を y = x^3-kx で定める。C 上の 2 点 \mathrm{P}, \mathrm{Q} に対する以下の条件 (\ast) を考える。
条件 (\ast) 原点 \mathrm{O}, 点 \mathrm{P}, 点 \mathrm{Q} は相異なり，C の \mathrm{O}, \mathrm{P}, \mathrm{Q} における接線のうち，どの 2 本も交わり，そのなす角はすべて \dfrac{\pi}{3} となる。
ただし，2 直線のなす角は 0 以上 \dfrac{\pi}{2} 以下の範囲で考えるものとする。
(1) 条件 (\ast) を満たす \mathrm{P}, \mathrm{Q} が存在するような k の範囲を求めよ。
(2) k が (1) で定まる範囲にあるとする。\mathrm{P}, \mathrm{Q} が条件 (\ast) を満たすように動くとき，C の \mathrm{O}, \mathrm{P}, \mathrm{Q} における接線によって囲まれる三角形の面積 S の最大値を M, 最小値を m とおく。ただし，3 本の接線が 1 点で交わるときは S = 0 とする。M = 4m となる k の値を求めよ。
y' = 3x^2-k です。\mathrm{P}, \mathrm{Q} の x 座標を p, q とすると、3 本の接線の傾きは -k, 3p^2-k, 3q^2-k です。
\mathrm{P}, \mathrm{Q} は原点と異なるので p \neq 0, q \neq 0、よって 3p^2 > 0, 3q^2 > 0 です。原点での傾き -k に正の数を足したものが残り 2 つですから、-k が 3 つの中でいちばん小さい傾きになります。
また p^2 = q^2 だと 2 本の傾きが等しくなります。接線は y = (3p^2-k)x - 2p^3 なので、p と -p では切片が違い、2 本は平行で交わりません。条件が「どの 2 本も交わり」と言っているので p^2 \neq q^2 です。
そこで u = 3p^2, v = 3q^2 とおきます。u, v は異なる正の数で、3 つの傾きは -k, -k+u, -k+v です。
どの 2 本のなす角も \dfrac{\pi}{3} ということを、傾きではなく直線の向きの角で読みます。向きの角は \pi を足しても同じ直線を表します。
3 本が互いに \dfrac{\pi}{3} ずつ開いているので、向きの角は \phi, \phi+\dfrac{\pi}{3}, \phi+\dfrac{2\pi}{3} という形しかありません。逆にこの形なら、どの 2 本のなす角も \dfrac{\pi}{3} です。
3 つの傾きは \tan\phi, \tan\left(\phi+\dfrac{\pi}{3}\right), \tan\left(\phi+\dfrac{2\pi}{3}\right) です。3 倍角の公式で \tan 3\phi = \dfrac{3t-t^3}{1-3t^2}（t = \tan\phi）ですから、T = \tan 3\phi とおくと 3 つの傾きは t^3-3Tt^2-3t+T = 0 の 3 解です。
解と係数の関係から、3 つの傾きの和は 3T、2 つずつ掛けて足したものは -3、積は -T です。T を含まない関係が 1 つあるところが効きます。
3 つの向きの角は \dfrac{\pi}{3} ずつ離れています。\pi の幅を \dfrac{\pi}{3} ずつ 3 つに割ると、どの区間にもちょうど 1 つずつ入ります。
\tan は \left(-\dfrac{\pi}{2},\ \dfrac{\pi}{2}\right) で増えるので、この区間で表したときにいちばん左にある向きが、いちばん小さい傾きを与えます。それは \left(-\dfrac{\pi}{2},\ -\dfrac{\pi}{6}\right) に入っている向きです。
よって最小の傾きは \tan\left(-\dfrac{\pi}{6}\right) = -\dfrac{1}{\sqrt{3}} より小さくなります。逆に -\dfrac{1}{\sqrt{3}} より小さい値は、この区間の向きの \tan としてすべて現れます。
最小の傾きは -k でした。よって条件をみたす \mathrm{P}, \mathrm{Q} があるのは -k < -\dfrac{1}{\sqrt{3}}、つまり k > \dfrac{\sqrt{3}}{3} のときです。このとき u, v が正の異なる値として決まり、p = \pm\sqrt{\dfrac{u}{3}}, q = \pm\sqrt{\dfrac{v}{3}} が取れます。
k を決めると u, v が決まり、p, q は符号だけが自由です。接線の切片は -2p^3, -2q^3 で、符号を変えると切片の符号も変わります。組み合わせは 4 通りですが、原点について 180^\circ 回すと (p,\ q) と (-p,\ -q) が移り合うので、面積は 2 種類です。
面積を出します。3 本を y = ax（a = -k）、y = (a+u)x + \beta、y = (a+v)x + \gamma とします。前の 2 本の交点は x = -\dfrac{\beta}{u}、1 本目と 3 本目は x = -\dfrac{\gamma}{v} で、どちらも y = ax の上にあります。この 2 点を結ぶ辺を底辺に取ります。
底辺の長さは \sqrt{1+a^2} \cdot \dfrac{|\gamma u - \beta v|}{uv}、残る頂点から直線 y = ax までの距離は \dfrac{|\gamma u - \beta v|}{|v-u|\sqrt{1+a^2}} です。掛けて半分にすると \sqrt{1+a^2} が消えて、S = \dfrac{(\gamma u - \beta v)^2}{2uv|v-u|} となります。
\beta = -2p^3, \gamma = -2q^3 を入れます。p, q の符号が同じか違うかで |\gamma u - \beta v| が変わり、違うときのほうが大きくなります。よって M は符号違い、m は符号同じのときの面積です。3 本が 1 点で交わることは起きません。
p^3 = \pm\left(\dfrac{u}{3}\right)^{\frac{3}{2}}, q^3 = \pm\left(\dfrac{v}{3}\right)^{\frac{3}{2}} です。r = \sqrt{\dfrac{v}{u}} とおくと、|\gamma u - \beta v| の比が r+1 と |r-1| の比になり、\dfrac{M}{m} = \left(\dfrac{r+1}{r-1}\right)^2 となります（v > u としました）。
\dfrac{M}{m} = 4 は \dfrac{r+1}{r-1} = 2、つまり r = 3 です。よって v = 9u で、\dfrac{(u+v)^2}{uv} = \dfrac{100u^2}{9u^2} = \dfrac{100}{9} となります。
あとは u+v と uv を a で表します。傾き a, b, c について ab+bc+ca = -3 と 3abc = -(a+b+c) から b+c = \dfrac{8a}{1-3a^2}, bc = \dfrac{a^2-3}{1-3a^2} が出ます。u+v = (b+c)-2a = \dfrac{6a(1+a^2)}{1-3a^2}、uv = bc - a(b+c) + a^2 = \dfrac{-3(1+a^2)^2}{1-3a^2} です。
割ると \dfrac{(u+v)^2}{uv} = \dfrac{12a^2}{3a^2-1} です。これを \dfrac{100}{9} とおいて 108a^2 = 300a^2-100、a^2 = \dfrac{25}{48} となります。a = -k で k > 0 ですから k = \dfrac{5}{4\sqrt{3}} = \dfrac{5\sqrt{3}}{12} です。およそ 0.7217 で、(1) の境目 \dfrac{\sqrt{3}}{3} = 0.5774 よりきちんと大きくなっています。