Data Engineer
์ง๊ตฐTech
๊ฒฝ๋ ฅ์‚ฌํ•ญ๊ฒฝ๋ ฅ 2๋…„ ์ด์ƒ
๊ณ ์šฉํ˜•ํƒœ์ •๊ทœ์ง
๊ทผ๋ฌด์ง€๋Œ€ํ•œ๋ฏผ๊ตญ ์„œ์šธํŠน๋ณ„์‹œ ์˜๋“ฑํฌ๊ตฌ ๊ตญ์ œ๊ธˆ์œต๋กœ 52, 6,7์ธต

๐Ÿš€ ์˜ค์ผ€์ŠคํŠธ๋กœ์—์„œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ฅผ ๋ชจ์‹ญ๋‹ˆ๋‹ค


 

์˜ค์ผ€์ŠคํŠธ๋กœ๋Š” ๊ณ„์† ๋ณ€ํ™”ํ•ฉ๋‹ˆ๋‹ค

์˜ค์ผ€์ŠคํŠธ๋กœ๋Š” ์Šค์Šค๋กœ์˜ ํ•œ๊ณ„๋ฅผ ์ œํ•œํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค

ํด๋ผ์šฐ๋“œ ์‚ฐ์—…์˜ ์ƒˆ๋กœ์šด ๊ธฐ์ค€์„ ๋งŒ๋“ค์–ด๊ฐ€๋Š” ์˜ค์ผ€์ŠคํŠธ๋กœ์—์„œ

ํ•จ๊ป˜ ์„ฑ์žฅํ•  ์†Œ์ค‘ํ•œ ๋™๋ฃŒ๋ฅผ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค

๋” ํฐ ์„ฑ์žฅ์„ ํ†ตํ•ด ์„ธ์ƒ์„ ๋ณ€ํ™” ์‹œํ‚ค์‹œ๊ณ  ์‹ถ์€ ๋ถ„์ด๋ผ๋ฉด ์ง€๊ธˆ ๋ฐ”๋กœ ํ•ฉ๋ฅ˜ํ•˜์„ธ์š”



๐Ÿ”—๊ฐœ๋ฐœํ™˜๊ฒฝ

โ€ข ๊ธฐ์ˆ ์Šคํƒ : ELK, Kafka, Python or Go or Java, Kubernetes ๋“ฑ

โ€ข ๊ฐœ๋ฐœํˆด : Jetbrains(IntelliJ, etc)

โ€ข ํ˜‘์—…ํ™˜๊ฒฝ : Agile, Jira, Confluence, Bitbucket

โ€ข ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ : Private&Public Cloud



๐Ÿ“‘ ์ž…์‚ฌ ํ›„ ๋‹ด๋‹นํ•  ์—…๋ฌด ์•ˆ๋‚ด๋“œ๋ ค์š”

โ€ข ๋‚ด/์™ธ๋ถ€ ์›์ฒœ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘, ๊ฐ€๊ณต, ์ ์žฌ

โ€ข ๋ฐ์ดํ„ฐ ํ‹ฐ์–ด ํŒŒ์ดํ”„๋ผ์ธ ์„ค๊ณ„ ๋ฐ ๊ตฌ์ถ•

โ€ข ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ์—…๋ฌด ๋ฐ ํ…Œ์ŠคํŠธ ๋‹ด๋‹น

โ€ข ๋ฐ์ดํ„ฐ ETL Programming ์ž‘์„ฑ



๐Ÿ”Ž ์ด๋Ÿฐ ๋ถ„์„ ์ฐพ๊ณ  ์žˆ์–ด์š”

โ€ข ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ• ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข ๋ฐ์ดํ„ฐ ์ƒ์„ฑ, ์ˆ˜์ง‘, ๊ฐ€๊ณต ํ›„ ์ €์žฅ ์—…๋ฌด๋ฅผ ์ˆ˜ํ–‰ํ•˜์‹  ๋ถ„

โ€ข ๋ฐ์ดํ„ฐ ETL Programming ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„



๐Ÿงพ ์ด๋Ÿฐ ๋ถ€๋ถ„์ด ์žˆ์œผ๋ฉด ๋”์šฑ ์ข‹์•„์š”

โ€ข ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ ์ดํ•ด ๋ฐ ํšจ์œจ์ ์ธ SQL ์‚ฌ์šฉ ๊ฐ€๋Šฅ

โ€ข ํ•˜๋‚˜ ์ด์ƒ์˜ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด(Java, Go, Python ๋“ฑ) ์‚ฌ์šฉ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข ETL/ELT ํ”„๋กœ์„ธ์Šค ๊ตฌ์ถ• ๊ฒฝํ—˜ ๋˜๋Š” ๋ฐ์ดํ„ฐ๋ ˆ์ดํฌ ๊ตฌ์ถ•/์šด์˜ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข ์„œ๋น„์Šค ๋ชจ๋‹ˆํ„ฐ๋ง ํ™˜๊ฒฝ ๊ตฌ์ถ• ๋ฐ ๊ด€๋ฆฌ, ํŠธ๋Ÿฌ๋ธ” ์ŠˆํŒ… ๋ฐ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ๊ฐœ์„  ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข RDBMS, NSQL ๊ตฌ์ถ• ๋ฐ Tuning ๊ฐ€๋Šฅํ•˜์‹  ๋ถ„



โš™ ๋ณธ ๊ณต๊ณ ๋Š” ์ˆ˜์‹œ ์ฑ„์šฉ์œผ๋กœ ์ง„ํ–‰๋˜๋ฉฐ ์„œ๋ฅ˜ ์ „ํ˜• ๊ฒฐ๊ณผ๋Š” ์ ‘์ˆ˜์ผ๋กœ๋ถ€ํ„ฐ ์ผ์ฃผ์ผ ์ด๋‚ด์—

ํ•ฉ๊ฒฉ์ž์— ํ•œํ•˜์—ฌ ์ด๋ฉ”์ผ(์นด์นด์˜คํ†ก)์œผ๋กœ ์•ˆ๋‚ด๋“œ๋ ค์š”

๊ณต์œ ํ•˜๊ธฐ
Data Engineer

๐Ÿš€ ์˜ค์ผ€์ŠคํŠธ๋กœ์—์„œ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ฅผ ๋ชจ์‹ญ๋‹ˆ๋‹ค


 

์˜ค์ผ€์ŠคํŠธ๋กœ๋Š” ๊ณ„์† ๋ณ€ํ™”ํ•ฉ๋‹ˆ๋‹ค

์˜ค์ผ€์ŠคํŠธ๋กœ๋Š” ์Šค์Šค๋กœ์˜ ํ•œ๊ณ„๋ฅผ ์ œํ•œํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค

ํด๋ผ์šฐ๋“œ ์‚ฐ์—…์˜ ์ƒˆ๋กœ์šด ๊ธฐ์ค€์„ ๋งŒ๋“ค์–ด๊ฐ€๋Š” ์˜ค์ผ€์ŠคํŠธ๋กœ์—์„œ

ํ•จ๊ป˜ ์„ฑ์žฅํ•  ์†Œ์ค‘ํ•œ ๋™๋ฃŒ๋ฅผ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค

๋” ํฐ ์„ฑ์žฅ์„ ํ†ตํ•ด ์„ธ์ƒ์„ ๋ณ€ํ™” ์‹œํ‚ค์‹œ๊ณ  ์‹ถ์€ ๋ถ„์ด๋ผ๋ฉด ์ง€๊ธˆ ๋ฐ”๋กœ ํ•ฉ๋ฅ˜ํ•˜์„ธ์š”



๐Ÿ”—๊ฐœ๋ฐœํ™˜๊ฒฝ

โ€ข ๊ธฐ์ˆ ์Šคํƒ : ELK, Kafka, Python or Go or Java, Kubernetes ๋“ฑ

โ€ข ๊ฐœ๋ฐœํˆด : Jetbrains(IntelliJ, etc)

โ€ข ํ˜‘์—…ํ™˜๊ฒฝ : Agile, Jira, Confluence, Bitbucket

โ€ข ํด๋ผ์šฐ๋“œ ํ™˜๊ฒฝ : Private&Public Cloud



๐Ÿ“‘ ์ž…์‚ฌ ํ›„ ๋‹ด๋‹นํ•  ์—…๋ฌด ์•ˆ๋‚ด๋“œ๋ ค์š”

โ€ข ๋‚ด/์™ธ๋ถ€ ์›์ฒœ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘, ๊ฐ€๊ณต, ์ ์žฌ

โ€ข ๋ฐ์ดํ„ฐ ํ‹ฐ์–ด ํŒŒ์ดํ”„๋ผ์ธ ์„ค๊ณ„ ๋ฐ ๊ตฌ์ถ•

โ€ข ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ์—…๋ฌด ๋ฐ ํ…Œ์ŠคํŠธ ๋‹ด๋‹น

โ€ข ๋ฐ์ดํ„ฐ ETL Programming ์ž‘์„ฑ



๐Ÿ”Ž ์ด๋Ÿฐ ๋ถ„์„ ์ฐพ๊ณ  ์žˆ์–ด์š”

โ€ข ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ ๊ตฌ์ถ• ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข ๋ฐ์ดํ„ฐ ์ƒ์„ฑ, ์ˆ˜์ง‘, ๊ฐ€๊ณต ํ›„ ์ €์žฅ ์—…๋ฌด๋ฅผ ์ˆ˜ํ–‰ํ•˜์‹  ๋ถ„

โ€ข ๋ฐ์ดํ„ฐ ETL Programming ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„



๐Ÿงพ ์ด๋Ÿฐ ๋ถ€๋ถ„์ด ์žˆ์œผ๋ฉด ๋”์šฑ ์ข‹์•„์š”

โ€ข ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ ์ดํ•ด ๋ฐ ํšจ์œจ์ ์ธ SQL ์‚ฌ์šฉ ๊ฐ€๋Šฅ

โ€ข ํ•˜๋‚˜ ์ด์ƒ์˜ ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด(Java, Go, Python ๋“ฑ) ์‚ฌ์šฉ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข ETL/ELT ํ”„๋กœ์„ธ์Šค ๊ตฌ์ถ• ๊ฒฝํ—˜ ๋˜๋Š” ๋ฐ์ดํ„ฐ๋ ˆ์ดํฌ ๊ตฌ์ถ•/์šด์˜ ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข ์„œ๋น„์Šค ๋ชจ๋‹ˆํ„ฐ๋ง ํ™˜๊ฒฝ ๊ตฌ์ถ• ๋ฐ ๊ด€๋ฆฌ, ํŠธ๋Ÿฌ๋ธ” ์ŠˆํŒ… ๋ฐ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ ๊ฐœ์„  ๊ฒฝํ—˜์ด ์žˆ์œผ์‹  ๋ถ„

โ€ข RDBMS, NSQL ๊ตฌ์ถ• ๋ฐ Tuning ๊ฐ€๋Šฅํ•˜์‹  ๋ถ„



โš™ ๋ณธ ๊ณต๊ณ ๋Š” ์ˆ˜์‹œ ์ฑ„์šฉ์œผ๋กœ ์ง„ํ–‰๋˜๋ฉฐ ์„œ๋ฅ˜ ์ „ํ˜• ๊ฒฐ๊ณผ๋Š” ์ ‘์ˆ˜์ผ๋กœ๋ถ€ํ„ฐ ์ผ์ฃผ์ผ ์ด๋‚ด์—

ํ•ฉ๊ฒฉ์ž์— ํ•œํ•˜์—ฌ ์ด๋ฉ”์ผ(์นด์นด์˜คํ†ก)์œผ๋กœ ์•ˆ๋‚ด๋“œ๋ ค์š”

์ง๊ตฐTech
๊ฒฝ๋ ฅ์‚ฌํ•ญ๊ฒฝ๋ ฅ 2๋…„ ์ด์ƒ
๊ณ ์šฉํ˜•ํƒœ์ •๊ทœ์ง
๊ทผ๋ฌด์ง€๋Œ€ํ•œ๋ฏผ๊ตญ ์„œ์šธํŠน๋ณ„์‹œ ์˜๋“ฑํฌ๊ตฌ ๊ตญ์ œ๊ธˆ์œต๋กœ 52, 6,7์ธต
๊ณต์œ ํ•˜๊ธฐ
made with Greeting