계산 그래프 | Computation Graph

왼쪽 -> 오른쪽 패스

@J(a, b, c) = 3(a+bc)의 계산 그래프 만드는 과정

1. u = bc

2. v = a+u

3. J = 3v

 

 

 

-계산 그래프는 J같은 특정한 출력값 변수를 최적화(Optimize)하고 싶을 때 유용함

-로지스틱 회귀의 경우 J는 당연히 최적화할 비용함수

 

 

 

도함수 구하는 역방향 연산

@미분의 연쇄법칙(Chain rule)

-합성함수의 도함수에 대한 공식

-합성함수의 도함수는 합성함수를 구성하는 함수의 미분을 곱함으로써 구할 수 있음

-입력변수 a를 통해 출력변수 J까지 도달 하기 위해 a -> v -> J의 프로세스로 진행됨

 (만약 a가 v에 영향 미치고 그것이 J에 영향 미친다면

 a를 밀었을 때 J의 변화량은

 a를 밀었을 때 v의 변화량과 v를 밀었을 때 J의 변화량의 곱)

 변수 a만 보게 되면, J = J(u(a))라는 합성함수가 됨

 

 

 

 

 

참고)

https://youtu.be/nJyUyKN-XBQ

https://en.wikipedia.org/wiki/Chain_rule