Answer
$A=\begin{bmatrix}
1 & \frac{1}{2} & \frac{-1}{8}\\
0 & 1 & \frac{1}{2}\\
0 & 0 & 1
\end{bmatrix}$
Work Step by Step
Given: $A=\begin{bmatrix}
1 & x & z\\
0 &1 & y\\
0 & 0 & 1
\end{bmatrix}$
$A^2=A.A=\begin{bmatrix}
1 & x & z\\
0 &1 & y\\
0 & 0 & 1
\end{bmatrix}.\begin{bmatrix}
1 & x & z\\
0 &1 & y\\
0 & 0 & 1
\end{bmatrix}=\begin{bmatrix}
1 & x+x & z+xy+z\\
0 &1 & 2y\\
0 & 0 & 1
\end{bmatrix}$
Hence $A^2+\begin{bmatrix}
0 & -1 & 0\\
0 &0 & -1\\
0 & 0 & 0
\end{bmatrix}=I_3$
$\rightarrow \begin{bmatrix}
1 & x+x & z+xy+z\\
0 &1 & 2y\\
0 & 0 & 1
\end{bmatrix}+\begin{bmatrix}
0 & -1 & 0\\
0 &0 & -1\\
0 & 0 & 0
\end{bmatrix}=\begin{bmatrix}
1 & 0 & 0\\
0 &1 & 0\\
0 & 0 & 1
\end{bmatrix}$
$\rightarrow \begin{bmatrix}
1 & 2x-1 & xy+2z\\
0 & 1 & 2y-1\\
0 & 0 & 1
\end{bmatrix}=\begin{bmatrix}
1 & 0 & 0\\
0 &1 & 0\\
0 & 0 & 1
\end{bmatrix}$
$2x-1=0 \rightarrow x=\frac{1}{2}$
or $2y-1=0 \rightarrow y=\frac{1}{2}$
or $2z+xy=0 \rightarrow 2z+(\frac{1}{2})(\frac{1}{2}) =0 \rightarrow z=-\frac{1}{8}$
Hence here,
$A=\begin{bmatrix}
1 & \frac{1}{2} & \frac{-1}{8}\\
0 & 1 & \frac{1}{2}\\
0 & 0 & 1
\end{bmatrix}$
