平行四辺形 \mathrm{ABCD} において，\angle \mathrm{ABC} = \dfrac{\pi}{6}, \mathrm{AB} = a, \mathrm{BC} = b, a \leqq b とする。次の条件を満たす長方形 \mathrm{EFGH} を考え，その面積を S とする。
条件： 点 \mathrm{A}, \mathrm{B}, \mathrm{C}, \mathrm{D} はそれぞれ辺 \mathrm{EF}, \mathrm{FG}, \mathrm{GH}, \mathrm{HE} 上にある。
ただし，辺はその両端の点も含むものとする。
(1) \angle \mathrm{BCG} = \theta とするとき，S を a, b, \theta を用いて表せ。
(2) S のとりうる値の最大値を a, b を用いて表せ。
平行四辺形は動きません。動くのは、それを囲む長方形の向きです。\theta を決めれば長方形は 1 つに決まり、面積も決まります。
図で \theta を動かしてみてください。長方形が回り、縦と横がたがいに伸び縮みします。面積はその積です。
\theta の動ける範囲も先に見ておきます。あとで出るように、点 \mathrm{A} が辺 \mathrm{EF} に乗るためには \theta \leqq \dfrac{\pi}{6} が要ります。
\theta = 0 では点 \mathrm{B} が長方形の角に、\theta = \dfrac{\pi}{6} では点 \mathrm{A} が角に来ます。辺は両端を含むので、どちらも許されます。
三角形 \mathrm{BCG} は \angle \mathrm{G} = \dfrac{\pi}{2} の直角三角形です。\angle \mathrm{BCG} = \theta ですから \mathrm{BG} = b\sin\theta、\mathrm{GC} = b\cos\theta です。
点 \mathrm{B} は辺 \mathrm{FG} の上にあるので \angle \mathrm{FBA} + \angle \mathrm{ABC} + \angle \mathrm{CBG} = \pi です。\angle \mathrm{CBG} = \dfrac{\pi}{2}-\theta ですから \angle \mathrm{FBA} = \theta + \dfrac{\pi}{3} となり、\mathrm{FB} = a\cos\left(\theta+\dfrac{\pi}{3}\right) です。
同じように点 \mathrm{C} のまわりを見ると \angle \mathrm{DCH} = \dfrac{\pi}{6}-\theta で、\mathrm{CH} = a\cos\left(\dfrac{\pi}{6}-\theta\right) = a\sin\left(\theta+\dfrac{\pi}{3}\right) です。
たすと縦が b\sin\theta + a\cos\left(\theta+\dfrac{\pi}{3}\right)、横が b\cos\theta + a\sin\left(\theta+\dfrac{\pi}{3}\right)。\mathrm{FB} \geqq 0 から 0 \leqq \theta \leqq \dfrac{\pi}{6} も出ます。
S は縦と横の積です。掛けると b^2\sin\theta\cos\theta、a^2\sin\left(\theta+\dfrac{\pi}{3}\right)\cos\left(\theta+\dfrac{\pi}{3}\right)、そして ab の付く 2 項が出ます。
ab の 2 項は \cos\theta\cos\left(\theta+\dfrac{\pi}{3}\right) + \sin\theta\sin\left(\theta+\dfrac{\pi}{3}\right) = \cos\dfrac{\pi}{3} = \dfrac{1}{2} とまとまり、\theta が消えます。
残りは 2 倍角で \dfrac{b^2}{2}\sin 2\theta と \dfrac{a^2}{2}\sin\left(2\theta+\dfrac{2\pi}{3}\right) になります。
よって S = \dfrac{ab}{2} + \dfrac{b^2}{2}\sin 2\theta + \dfrac{a^2}{2}\sin\left(2\theta+\dfrac{2\pi}{3}\right) です。2 次だった式が、2\theta の 1 次の三角関数だけになりました。
\sin\left(2\theta+\dfrac{2\pi}{3}\right) = -\dfrac{1}{2}\sin 2\theta + \dfrac{\sqrt{3}}{2}\cos 2\theta を入れます。
すると S = \dfrac{ab}{2} + \left(\dfrac{b^2}{2}-\dfrac{a^2}{4}\right)\sin 2\theta + \dfrac{\sqrt{3}a^2}{4}\cos 2\theta となります。
\sin と \cos の 1 次結合ですから合成できます。振幅は \sqrt{\left(\dfrac{b^2}{2}-\dfrac{a^2}{4}\right)^2 + \dfrac{3a^4}{16}} = \dfrac{1}{2}\sqrt{a^4-a^2b^2+b^4} です。
よって S = \dfrac{ab}{2} + \dfrac{1}{2}\sqrt{a^4-a^2b^2+b^4} \sin(2\theta+\psi)、ただし \tan\psi = \dfrac{\sqrt{3}a^2}{2b^2-a^2}、0 < \psi < \dfrac{\pi}{2} です。
\sin が 1 になるのは 2\theta+\psi = \dfrac{\pi}{2} のときです。\theta は 0 から \dfrac{\pi}{6} までですから、2\theta は 0 から \dfrac{\pi}{3} まで。頂上がこの中に入るのは \psi \geqq \dfrac{\pi}{6} のときです。
\tan\psi \geqq \dfrac{1}{\sqrt{3}} を解くと 3a^2 \geqq 2b^2-a^2、すなわち b \leqq \sqrt{2}\,a です。このときの最大値は \dfrac{ab+\sqrt{a^4-a^2b^2+b^4}}{2} となります。
b > \sqrt{2}\,a のときは頂上が範囲の外です。S は \theta について増え続けるので、最大は端の \theta = \dfrac{\pi}{6} で、値は \dfrac{ab}{2}+\dfrac{\sqrt{3}}{4}b^2 です。
境目の b = \sqrt{2}\,a では両方の式がともに \dfrac{(\sqrt{2}+\sqrt{3})a^2}{2} になり、つながっています。図で b を動かすと、山の頂上が範囲から出ていくところが見えます。