계산 그래프 | Computation Graph

CS/AI | CV

damzzi 2020. 12. 31. 23:53

@J(a, b, c) = 3(a+bc)의 계산 그래프 만드는 과정

1. u = bc

2. v = a+u

3. J = 3v

-계산 그래프는 J같은 특정한 출력값 변수를 최적화(Optimize)하고 싶을 때 유용함

-로지스틱 회귀의 경우 J는 당연히 최적화할 비용함수

@미분의 연쇄법칙(Chain rule)

-합성함수의 도함수에 대한 공식

-합성함수의 도함수는 합성함수를 구성하는 함수의 미분을 곱함으로써 구할 수 있음

-입력변수 a를 통해 출력변수 J까지 도달 하기 위해 a -> v -> J의 프로세스로 진행됨

(만약 a가 v에 영향 미치고 그것이 J에 영향 미친다면

a를 밀었을 때 J의 변화량은

a를 밀었을 때 v의 변화량과 v를 밀었을 때 J의 변화량의 곱)

변수 a만 보게 되면, J = J(u(a))라는 합성함수가 됨

참고)