수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 것이 단점이다. 그래서 등장한 것이 바로 가중치 매개변수의 기울기를 효율적으로 계산하는 ‘오차역전파법(batck-propagation)’이다.
계산 그래프는 계산 과정을 그래프로 나타낸 것이다. 여기서 그래프는 그래프 자료구조로, 복수의 node와 edge로 표현된다.
계산그래프를 이용한 문제풀이는 다음 흐름으로 진행된다
<aside> 💡
계산 그래프를 구성한다
그래프에서 계산을 왼쪽에서 오른쪽으로 진행한다.
</aside>
2번에 해당하는 단계를 순전파라고 한다. 순전파는 계산 그래프의 출발점부터 종착점으로의 전파이다. 이것에 반대되는 계산 방법을 역전파라고 한다.
계산 그래프의 특징은 '국소적 계산'을 전파함으로써 최종 결과를 얻는다는 점에 있다. 때문에 전체 계산이 아무리 복잡해도 각 노드에서는 단순한 계산에만 집중하여 문제를 단순화할 수 있다.
실제 계산 그래프를 사용하는 가장 큰 이유는 역전파를 통해 미분을 효율적으로 계산할 수 있기 때문이다. 역전파에 의한 미분 값의 전달을 그림으로 살펴보면 다음과 같다.
이처럼 계산 그래프의 이점은 순전파와 역전파를 활용해서 각 변수의 미분을 효율적으로 구할 수 있다는 것이다.
역전파는 국소적인 미분을 순방향과는 반대인 오른쪽에서 왼쪽으로 전달하는데, 이 원리는 **연쇄법칙(chain rule)**에 따른 것이다. 연쇄법칙을 설명하려면 합성 함수부터 시작해야한다. 연쇄법칙은 합성 함수의 미분에 대한 성질이며 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.
연쇄법칙 계산을 계산 그래프로 나타내면 다음과 같이 나타낼 수 있다.
이처럼 역전파의 계산 절차에서는 노드로 들어온 입력 신호에 그 노드의 편미분을 곱한 후 다음 노드로 전달한다.