๐Ÿ–ฅ๏ธ Deep Learning
  • [DL] Gradient Vanishing, Exploding - ๊ธฐ์šธ๊ธฐ ์†Œ์‹ค, ํญํŒ”

    1. ์‹ ๊ฒฝ๋ง์˜ ํ•™์Šต ๊ณผ์ • ์‹ ๊ฒฝ๋ง์˜ ํ•™์Šต ๊ณผ์ •์€ ํฌ๊ฒŒ 2๊ฐ€์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์ˆœ์ „ํŒŒ(Forward Pass), ์—ญ์ „ํŒŒ(Backward Pass)๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋จผ์ € ์ด ํ•™์Šต ๊ณผ์ •์— ๋ฐํ•˜์—ฌ ์„ค๋ช…์„ ํ•ด๋ณด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. Forward Pass (์ˆœ์ „ํŒŒ) Forward Pass (์ˆœ์ „ํŒŒ)๋Š” input(์ž…๋ ฅ) data๊ฐ€ ์‹ ๊ฒฝ๋ง์˜ ๊ฐ์ธต์„ ์ฐจ๋ก€๋Œ€๋กœ ํ†ต๊ณผํ•˜๋ฉด์„œ ์ตœ์ข… output ๊นŒ์ง€ ๋„๋‹ฌํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ์ด ๊ณผ์ •์€ input layer(์ž…๋ ฅ์ธต)์—์„œ output layer(์ถœ๋ ฅ์ธต)๊นŒ์ง€ ์ˆœ์ฐจ์ ์œผ๋กœ ์ด๋ฃจ์–ด์ง€๋ฉฐ, ์ตœ์ข…์ ์œผ๋กœ ์†์‹คํ•จ์ˆ˜ (loss function)์„ ํ†ตํ•ด ์˜ˆ์ธก๊ฐ’๊ณผ ์‹ค์ œ๊ฐ’์˜ ์ฐจ์ด๋ฅผ ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. ์ด ์ฐจ์ด๋ฅผ ์†์‹ค(loss) or ์˜ค์ฐจ(Error)๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ด ์ฐจ์ด๋Š” ์‹ ๊ฒฝ๋ง์˜ ์„ฑ๋Šฅ์„ ์ธก์ •ํ•˜๋Š” ์ง€ํ‘œ๊ฐ€ ๋ฉ๋‹ˆ๋‹ค. ์ •๋ฆฌํ•˜..

    1. ์‹ ๊ฒฝ๋ง์˜ ํ•™์Šต ๊ณผ์ • ์‹ ๊ฒฝ๋ง์˜ ํ•™์Šต ๊ณผ์ •์€ ํฌ๊ฒŒ 2๊ฐ€์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์ˆœ์ „ํŒŒ(Forward Pass), ์—ญ์ „ํŒŒ(Backward Pass)๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ๋จผ์ € ์ด ํ•™์Šต ๊ณผ์ •์— ๋ฐํ•˜์—ฌ ์„ค๋ช…์„ ํ•ด๋ณด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. Forward Pass (์ˆœ์ „ํŒŒ) Forward Pass (์ˆœ์ „ํŒŒ)๋Š” input(์ž…๋ ฅ) data๊ฐ€ ์‹ ๊ฒฝ๋ง์˜ ๊ฐ์ธต์„ ์ฐจ๋ก€๋Œ€๋กœ ํ†ต๊ณผํ•˜๋ฉด์„œ ์ตœ์ข… output ๊นŒ์ง€ ๋„๋‹ฌํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ์ด ๊ณผ์ •์€ input layer(์ž…๋ ฅ์ธต)์—์„œ output layer(์ถœ๋ ฅ์ธต)๊นŒ์ง€ ์ˆœ์ฐจ์ ์œผ๋กœ ์ด๋ฃจ์–ด์ง€๋ฉฐ, ์ตœ์ข…์ ์œผ๋กœ ์†์‹คํ•จ์ˆ˜ (loss function)์„ ํ†ตํ•ด ์˜ˆ์ธก๊ฐ’๊ณผ ์‹ค์ œ๊ฐ’์˜ ์ฐจ์ด๋ฅผ ๊ณ„์‚ฐํ•ฉ๋‹ˆ๋‹ค. ์ด ์ฐจ์ด๋ฅผ ์†์‹ค(loss) or ์˜ค์ฐจ(Error)๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ด ์ฐจ์ด๋Š” ์‹ ๊ฒฝ๋ง์˜ ์„ฑ๋Šฅ์„ ์ธก์ •ํ•˜๋Š” ์ง€ํ‘œ๊ฐ€ ๋ฉ๋‹ˆ๋‹ค. ์ •๋ฆฌํ•˜..

    Read more
  • [DL] Numpy & ํ–‰๋ ฌ์— ๋ฐํ•˜์—ฌ ์•Œ์•„๋ณด๊ธฐ

    Numpy๊ฐ€ ๋ญ์—์š”? Python ์—์„œ ๊ณผํ•™์  ๊ณ„์‚ฐ & ์ˆ˜์น˜๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ ์œ„ํ•œ ํ•ต์‹ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. NumPy๋Š” ๊ณ ์„ฑ๋Šฅ์˜ ๋‹ค์ฐจ์› ๋ฐฐ์—ด ๊ฐ์ฒด์™€ ์ด๋ฅผ ๋‹ค๋ฃฐ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜์น˜ ๊ณ„์‚ฐ์„ ์œ„ํ•œ ๋งค์šฐ ํšจ๊ณผ์ ์ธ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ, ์ด๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„, ๋จธ์‹  ๋Ÿฌ๋‹ ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ• ๋•Œ, ๋ฐฐ์—ด์ด๋‚˜ ํ–‰๋ ฌ์„ ์‚ฌ์šฉํ• ๋•Œ๊ฐ€ ๋งŽ์€๋ฐ, numpy๋ฅผ ์ด์šฉํ•˜๋ฉด ์ด ๋ฐฐ์—ด์ด๋‚˜, ํ–‰๋ ฌ์„ ๊ตฌํ˜„ํ• ๋•Œ ๋งค์šฐ ํŽธ๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ถ”๊ฐ€ ๋ง์”€์œผ๋กœ, ์—ฌ๊ธฐ์„œ๋ถ€ํ„ฐ๋Š” Jupyter Notebook์„ ์ด์šฉํ•˜์—ฌ ์ฝ”๋“œ๋ธ”๋Ÿญ์„ ์ž‘์„ฑํ•˜์˜€๊ธฐ ๋•Œ๋ฌธ์—, python Idle๋‚˜ ๋‹ค๋ฅธ Tool๋กœ ์ด์šฉํ•˜์‹œ๋Š” ๋ถ„๋“ค๊ณผ ๋‚˜์˜ค๋Š” ํ˜•์‹์ด ๋‹ค๋ฅผ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ฐธ๊ณ  ๋ฐ”๋ผ์š”! Numpy ์–ด๋–ป๊ฒŒ ๊ฐ€์ ธ์™€์š”? numpy๋Š” ์ผ๋ฐ˜ ํŒŒ์ด์ฌ ๋‚ด์žฅ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์— ์žˆ๋Š”๊ฒƒ์ด ์•„๋‹ˆ๊ณ , ์™ธ..

    Numpy๊ฐ€ ๋ญ์—์š”? Python ์—์„œ ๊ณผํ•™์  ๊ณ„์‚ฐ & ์ˆ˜์น˜๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ ์œ„ํ•œ ํ•ต์‹ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. NumPy๋Š” ๊ณ ์„ฑ๋Šฅ์˜ ๋‹ค์ฐจ์› ๋ฐฐ์—ด ๊ฐ์ฒด์™€ ์ด๋ฅผ ๋‹ค๋ฃฐ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜์น˜ ๊ณ„์‚ฐ์„ ์œ„ํ•œ ๋งค์šฐ ํšจ๊ณผ์ ์ธ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ, ์ด๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„, ๋จธ์‹  ๋Ÿฌ๋‹ ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ• ๋•Œ, ๋ฐฐ์—ด์ด๋‚˜ ํ–‰๋ ฌ์„ ์‚ฌ์šฉํ• ๋•Œ๊ฐ€ ๋งŽ์€๋ฐ, numpy๋ฅผ ์ด์šฉํ•˜๋ฉด ์ด ๋ฐฐ์—ด์ด๋‚˜, ํ–‰๋ ฌ์„ ๊ตฌํ˜„ํ• ๋•Œ ๋งค์šฐ ํŽธ๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ถ”๊ฐ€ ๋ง์”€์œผ๋กœ, ์—ฌ๊ธฐ์„œ๋ถ€ํ„ฐ๋Š” Jupyter Notebook์„ ์ด์šฉํ•˜์—ฌ ์ฝ”๋“œ๋ธ”๋Ÿญ์„ ์ž‘์„ฑํ•˜์˜€๊ธฐ ๋•Œ๋ฌธ์—, python Idle๋‚˜ ๋‹ค๋ฅธ Tool๋กœ ์ด์šฉํ•˜์‹œ๋Š” ๋ถ„๋“ค๊ณผ ๋‚˜์˜ค๋Š” ํ˜•์‹์ด ๋‹ค๋ฅผ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ฐธ๊ณ  ๋ฐ”๋ผ์š”! Numpy ์–ด๋–ป๊ฒŒ ๊ฐ€์ ธ์™€์š”? numpy๋Š” ์ผ๋ฐ˜ ํŒŒ์ด์ฌ ๋‚ด์žฅ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์— ์žˆ๋Š”๊ฒƒ์ด ์•„๋‹ˆ๊ณ , ์™ธ..

    Read more
  • [DL] Preparations for Deep Learning - ์ค€๋น„์‚ฌํ•ญ & Python ๊ธฐ๋ณธ๋ฌธ๋ฒ•

    ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๊ธฐ ์œ„ํ•˜์—ฌ ํ•„์š”ํ•œ ์ค€๋น„๋ฌผ ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๋ฉด์„œ ์ตœ์†Œํ•œ์œผ๋กœ ํ•„์š”ํ•œ ์ค€๋น„๋ฌผ์ด ์žˆ๋‹ค๋ฉด 3๊ฐ€์ง€๋ฅผ ์ ์–ด๋ณผ์ˆ˜ ์žˆ์„๊ฑฐ ๊ฐ™์•„์š”. Python 3.X ๋ฒ„์ „, Numpy Library, Matplotlib Library ์ž…๋‹ˆ๋‹ค. Numpy Library Python ์—์„œ ๊ณผํ•™์  ๊ณ„์‚ฐ & ์ˆ˜์น˜๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ ์œ„ํ•œ ํ•ต์‹ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. NumPy๋Š” ๊ณ ์„ฑ๋Šฅ์˜ ๋‹ค์ฐจ์› ๋ฐฐ์—ด ๊ฐ์ฒด์™€ ์ด๋ฅผ ๋‹ค๋ฃฐ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜์น˜ ๊ณ„์‚ฐ์„ ์œ„ํ•œ ๋งค์šฐ ํšจ๊ณผ์ ์ธ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ, ์ด๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„, ๋จธ์‹  ๋Ÿฌ๋‹ ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. Matplotlib Library ๋ฐ์ดํ„ฐ๋ฅผ ์ฐจํŠธ๋‚˜ ํ”Œ๋กฏ์œผ๋กœ ์‹œ๊ฐํ™”ํ•˜๋Š” ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ๋ผ์ธ ํ”Œ๋กฏ, ์Šค์บํ„ฐ ํ”Œ๋กฏ, ํžˆ์Šคํ† ๊ทธ๋žจ ๋“ฑ ๋‹ค์–‘ํ•œ ํ”Œ๋กฏ์„ ์ง€์›ํ•˜๋ฉฐ, ๊ทธ๋ž˜ํ”„์— ๋Œ€ํ•œ ์ƒ์„ธํ•œ ์„ค์ •์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ..

    ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๊ธฐ ์œ„ํ•˜์—ฌ ํ•„์š”ํ•œ ์ค€๋น„๋ฌผ ๋”ฅ๋Ÿฌ๋‹์„ ๊ณต๋ถ€ํ•˜๋ฉด์„œ ์ตœ์†Œํ•œ์œผ๋กœ ํ•„์š”ํ•œ ์ค€๋น„๋ฌผ์ด ์žˆ๋‹ค๋ฉด 3๊ฐ€์ง€๋ฅผ ์ ์–ด๋ณผ์ˆ˜ ์žˆ์„๊ฑฐ ๊ฐ™์•„์š”. Python 3.X ๋ฒ„์ „, Numpy Library, Matplotlib Library ์ž…๋‹ˆ๋‹ค. Numpy Library Python ์—์„œ ๊ณผํ•™์  ๊ณ„์‚ฐ & ์ˆ˜์น˜๋ฅผ ๊ณ„์‚ฐํ•˜๊ธฐ ์œ„ํ•œ ํ•ต์‹ฌ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. NumPy๋Š” ๊ณ ์„ฑ๋Šฅ์˜ ๋‹ค์ฐจ์› ๋ฐฐ์—ด ๊ฐ์ฒด์™€ ์ด๋ฅผ ๋‹ค๋ฃฐ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ˆ˜์น˜ ๊ณ„์‚ฐ์„ ์œ„ํ•œ ๋งค์šฐ ํšจ๊ณผ์ ์ธ ์ธํ„ฐํŽ˜์ด์Šค๋ฅผ ์ œ๊ณตํ•˜๋ฉฐ, ์ด๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„, ๋จธ์‹  ๋Ÿฌ๋‹ ๋“ฑ ๋‹ค์–‘ํ•œ ๋ถ„์•ผ์—์„œ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. Matplotlib Library ๋ฐ์ดํ„ฐ๋ฅผ ์ฐจํŠธ๋‚˜ ํ”Œ๋กฏ์œผ๋กœ ์‹œ๊ฐํ™”ํ•˜๋Š” ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ๋ผ์ธ ํ”Œ๋กฏ, ์Šค์บํ„ฐ ํ”Œ๋กฏ, ํžˆ์Šคํ† ๊ทธ๋žจ ๋“ฑ ๋‹ค์–‘ํ•œ ํ”Œ๋กฏ์„ ์ง€์›ํ•˜๋ฉฐ, ๊ทธ๋ž˜ํ”„์— ๋Œ€ํ•œ ์ƒ์„ธํ•œ ์„ค์ •์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ..

    Read more