線形モデルの単回帰分析
回帰分析を行う場合、とりあえずの目標は回帰方程式を求めることです。図1は下表のデータをもとに作成した散布図で、赤いラインが回帰方程式です。ここではこの回帰方程式を求める方法を学びましょう。
| 出席番号 | 身長 | 体重 |
| 1 | 181 | 72 |
| 2 | 177 | 65 |
| 3 | 176 | 62 |
| 4 | 160 | 58 |
| 5 | 175 | 64 |
| 6 | 171 | 63 |
| 7 | 177 | 68 |
| 8 | 170 | 57 |
| 9 | 178 | 62 |
| 10 | 169 | 63 |
Ⅰ 回帰方程式の回帰係数と定数項を求める
単回帰分析の回帰方程式は
で表されます（yの上に＾という記号がついていますがこれはハットと読みます）。実測値ｙに対して
（ワイ・ハット）は予測値を表しており、実測値とは調査や研究などから実際に得られたデータ値のことで予測値は「おそらくこういう値になるだろう」という値のことです。
またｙのような説明される変量のことを目的変量といい、ｘのような説明する変量のことを説明変量といいます。上の表では目的変量ｙが体重で説明変量ｘが身長ということになります。
まぁ、細かい用語はやっていくうちに慣れますからあまり無理に覚えようとしないでください。肝心なのは定数粉であるaと回帰係数のbを求めることなのです。実務的にはイチイチ計算する必要はなくコンピュータに計算させますが、最初に一通り手計算をしておくことで理解しやすくなりますし、これから多変量解析を学んでいくのであれば少しは数式に慣れておくことも大切です。
下の図を見てください。残差とは実測値と予測値のズレ（誤差）のことで
（イェプシロンと読みます）と記します。そして残差
を2乗して足したものを残差平方和といいます（以下、残差平方和のことをQと記します）。
  |
実際に下表のデータをもとに回帰方程式を求めてみましょう。
| No. | x | y |
| 1 | 2 | 3 |
| 2 | 3 | 5 |
| 3 | 2 | 4 |
| 4 | 4 | 7 |
| 5 | 5 | 8 |
| 6 | 3 | 4 |
| 7 | 2 | 3 |
①それぞれの残差を求めます
②残差平方和を求めます
これを展開すると
となります。この式を微分の力を借りて計算すると結局、以下の式が見出せます。
  |
したがって、今回の回帰方程式は
 |
となります。ちなみに、この式は途中で小数点を切り捨てたりしているのでコンピュータの計算とは微妙に結果が異なる可能性があります。便利な公式のおかげで、平均と分散と共分散を求めるだけで回帰方程式が求まってしまうわけです。