Answer
See below
Work Step by Step
a) We form
$S=\begin{bmatrix}
s_1,s_2,s_3
\end{bmatrix}=\begin{bmatrix}
0 & 2x& y \\0& x & -2y\\z & 0 & 0
\end{bmatrix}$
then $AS=\begin{bmatrix}
1 & -4 & 0\\ -4& 7&0\\0 & 0& 5
\end{bmatrix}\begin{bmatrix}
0 & 2x& y \\0& x & -2y\\z & 0 & 0
\end{bmatrix}=\begin{bmatrix}
0 & -2x & 9y \\0 & -x & -18y \\ 5z & 0 & 0
\end{bmatrix}=\begin{bmatrix}
5s_1,-s_2,9s_3
\end{bmatrix}$
b) Obtain $S^TAS\\=S^T(AS)\\=\begin{bmatrix}
0 &0&z\\2x & x& 0\\y & -2y & 0
\end{bmatrix}(\begin{bmatrix}
1 & 4 & 0\\-4 & 7 &0\\0 &0 &5
\end{bmatrix}\begin{bmatrix}
0 &2x&y\\0 &x&-2y\\ z&0&0
\end{bmatrix})\\
=\begin{bmatrix}
0 &0&z\\2x & x& 0\\y & -2y & 0
\end{bmatrix}\begin{bmatrix}
0 & -2x & 9y\\0& -x & -18y\\ 5z& 0& 0
\end{bmatrix}\\=\begin{bmatrix}
5z^2 &0 & 0\\0 & -5x^2&0 \\ 0& 0 &45y^2
\end{bmatrix}$
Since $S^TAS=diag(5,-1,9)=\begin{bmatrix}
5 &0 & 0\\0 & -1 & 0\\0& 0&9
\end{bmatrix}$
we have:
$5z^2=5 \rightarrow z=\pm 1\\
-5x^2=-1 \rightarrow x=\pm \frac{1}{\sqrt 5}\\
45y^2=9 \rightarrow y=\pm \frac{1}{\sqrt 5}$
