인써미의 삵

대학혁신사업 후기

인써미 — Sun, 15 Aug 2021 11:12:15 +0900

대학혁신지원사업 프로그램 참여 활동 보고서

참가 대학명	University of Wisconsin-Madison
해외대학 프로그램명	UW Advance Data Analytics and Informatics
활동기간	July 12-31, 2021	활동장소	Zoom
활동내용	English Communication에 대한 수업 및 Data Analytics, Informatics에 대한 윤리적 문제, 그리고 실제 연구 과정을 엿보는 활동이었습니다. English Communication 과정에서는 미국 UW Madison 학생과 실제로 대화를 해볼 수 있었고, 이외에도 함께 참가한 중국인 유학생들과도 소통할 수 있는 기회를 충분히 제공해주었습니다. Ethics에 대한 수업에서는 데이터의 수집 및 활용 범위가 다양화되고 광범위해짐에 따라 이들이 초래할 수 있는 윤리적 문제에 대해서 수업했습니다. 실제 연구 과정을 엿보는 활동에서는 Shannon Entropy의 수리적 개념을 배운 후, 기본적인 회귀모형에 대해서 배웠습니다. 또한 실제로 UW Madison에서 기후를 해당 모형으로 분석한 교수님께서 자신의 논문에 해당 개념이 어떻게 쓰였는지, EDA 및 해당 분야의 중요성에 대해 설명해주셨습니다. 마지막으로 Post Presentation을 진행했는데, 외국 학생들과 팀을 이루어 조에서 설정한 주제에 대해서 조사한 후 이를 발표하는 활동이었습니다. 저희 조에서는 What We Want Others to Know About Big Data and Irrational Behavior에 대한 주제로 발표를 진행했습니다.
전공과의 연계성	회귀분석을 실제로 활용하는 모습을 배우면서 전공에서 이후 학년에 배울 회귀분석 및 EDA에 대해서 미리 엿볼 수 있었습니다. 뿐만 아니라 데이터를 다루는 데에서 오는 윤리적 문제들에 대해서도 다양하게 다뤘기 때문에, 해당 통계학에서 데이터가 자칫하면 적용 대상에게 부정적인 영향을 끼침을 실감하여 데이터를 다루는 자세가 변했습니다.
후기	해당 프로그램을 통해 외국인과의 소통 능력이 향상되었고, 데이터를 다루는 것에 대해 신중을 가해야 하겠다고 생각하게 되었습니다. 해당 Data Analytics and Informatics 프로그램은, 단순히 미국의 수업을 듣는 것 이상이었습니다. 해외 대학 학생들 뿐만 아니라 같이 참가자 입장으로 만난 여러 중국인 학생들과도 함께 호흡을 맞추게 되었습니다. 여러 국적의 해외 대학 학생을 보면서 한국에서는 만날 수 없었던 다양한 생각과 문화를 접할 수 있었습니다. 예를 들어, 교수자 중심으로 수업이 진행되는 편견 속의 Zoom과 달리, 교수자가 계속해서 학생들의 참여를 유도하고 학생들만의 정답을 유도한다는 점이 신선했습니다. 또한 해당 학교 학생과 교수진으로부터 학교나 해당 지역에 대한 자부심을 느낄 수 있었습니다. 이러한 다양한 생각과 경험은 앞으로의 학업에서 다양성에 대해 열린 마음으로 수용할 수 있는 계기가 되리라고 생각합니다.

구글 반독점

인써미 — Mon, 7 Jun 2021 19:25:56 +0900

프랑스 Competition Authority는 최근 구글을 고소했다. 구글이 최근 온라인 시장에서 '구글 광고'를 통해 시장지배력을 통한 위력을 행사했다는 내용이었다.

구글의 반독점법 위반 사항은 여러 국가들이 관심을 갖고 보는 상황이었다.

이에 한동안 조용하나 싶었는데, 오늘(6월 7일) 새로운 뉴스가 나왔다. 구글에서 프랑스와 합의에 이르렀다는 내용이다. 구글은 프랑스와의 합의에서 2억 7천만달러에 달하는 요금을 낼 뿐만 아니라, 관련해서 반독점 문제를 해결할 수 있는 조약까지 제출해놓은 상태이다. 프랑스 당국에서는 구글이 이 조약에 3년간 묶여 있을 에정이라고 한다.

이번 반독점 합의안은 프랑스에서만 이루어진 결과이다. 하지만 'DoubleClick for Publishers'라고도 알려진 구글의 광고 상품은 구글 매출의 80%나 담당하고 있는 만큼, 또 미국을 포함한 다른 국가들에서 구글의 독점 상황을 통한 시장지배력 남용을 비난하고 있었던 만큼, 앞으로 구글 반독점 관련 재판 및 합의들이 어떻게 진행될지 귀추가 주목되는 상황이다.

[I.o.T.] 의 지평을 넓히는 요즘 기업들

인써미 — Mon, 24 May 2021 20:48:02 +0900

우리집 와이파이는 잘 먹통이 된다. 와이파이가 끊겨도 인터넷에 연결될 수 있는 방법이 있다면 어떨까?

Internet of Things

사물인터넷(Internet of things, IoT)은 각종 사물에 센서와 통신 기능을 내장하여 인터넷에 연결하는 기술. 즉, 무선 통신을 통해 각종 사물을 연결하는 기술을 의미한다.

Amazon Sidewalk

최근 아마존에서 Amazon SideWalk를 출시해 논란이 일고 있다. 이는 IoT 연결성을 강화시키기 위해 아마존닷컴에서 내놓은 신기능으로, IoT 기기가 인터넷 라우터(공유기)와 멀리 떨어져 있다고 하더라도, 사이드워크 기능을 제공하는 다른 (가까운)제품에 연결시킴으로써 온라인 상태를 유지할 수 있게 한다. 이를 위해서는 블루투스와 집에서 사용하지 않는 무선 스펙트럼을 활용한다. 라우터를 중심으로 사이드워크를 통한 연결은 최대 800m까지 유지된다. 심지어는 옆집의 사이드워크를 이용해서 IoT를 온라인으로 유지할 수 있을 정도이다.

이는 특히 아마존 생태계에서 더욱 중요한데, Smart Lock, Security Camera 등 집안에 설치할 수 있는 여러 보안기기가 동시에 작동될 필요가 있기 때문이다. 이런 SideWalk기술을 이용한다면 집 안에 와이파이가 (자의든 타의든 간에) 끊겨도 옆집에 연결되는 등 계속해서 온라인 상태를 유지하고 실시간으로 집안 상황을 클라우드로 전송할 수 있다. 이런 이유로 아마존에서는 고객들이 SideWalk를 계속해서 이용할 것이라고 믿고 있다.

Amazon and Apple Built Vast Wireless Networks Using Your Devices. Here’s How They Work.

Apple’s iPhone-powered Find My network and Amazon’s Sidewalk network—coming soon to all newer Echo devices—are platforms in their own right, capable of supporting billions of connected devices.

www.wsj.com

음? 옆집에 연결이 된다고?

하지만 옆집에까지 우리 집의 기기가 연결된다는 건 심히 걱정되지 않을 수 없는 내용이다. 아마존에서는 비록 3중 보안을 걸어 놓았으며 해킹되지 않을 거라고 호언장담하고 있긴 하지만, 걱정되는 건 어쩔 수 없다. 우리 집의 와이파이가 '보호를 받는' 또 비밀번호가 걸려진 와이파이에서 , 누구에게나 열려 있는, 마치 공공와이파이가 되는 것이다. 지금으로서 아마존의 입장은 IoT기기가 어디에 있든 인터넷 연결을 유지함으로서 우리가 일관된 사용자 경험(즉, 유비쿼터스)을 유지할 수 있다는 장점을 놓치지 않기 위해 사이드워크 기능을 계속 켜놓을 것이라고 이야기하고 있다.

Apple AirTag

https://youtu.be/ckqvG0Rj35I

Apple Airtag Ad

그리고 이런 아마존과 비슷한 우려를 받고 있는 제품이 바로 애플에서 최근 출시한 'Apple AirTag'이다. Apple Airtag는 삼성의 SmartTag와 그 역할이 비슷한데, 아이폰 등 애플 기기와 호환되어 에어 태그의 위치를 트래킹할 수 있게 하고 있다.

이는 기존 'Find My' 앱을 통해 다양한 방면에서 사용할 수 있는데, 예를 들면 리모컨, 지갑, 또 얼마 전에 잃어버릴 뻔했던 내 노트북 가방 (ㅠㅠ)등을 찾을 수 있는 것이다. 와이파이 등에 에어태그를 연결시키거나 할 필요 없이, 주변에 아이폰이나 여타 애플 기기가 있다면 초광대역에서 기기간 의사소통하여 위치를 온라인으로 보낼 수 있는 것이다. 뿐만 아니라 아이폰 11 이후에서 자기 Airtag에 가까이 가면 그것보다 더 정확하게 자신의 에어태그가 어디있는지 찾을 수 있게 된다.

Apple AirTag Hacked: What It Tells Us & Should Users Be Worried?

Don't get rid of your AirTag just yet.

screenrant.com

에어태그는 이미 해킹당한 전적이 있다.

그러나 이미 에어태그는 여러 실험 과정에서 해킹당할 수 있음이 증명되었다. 물론 이러한 해킹은 물리적으로 에어태그를 소유하고 있는 사람이 악의로 해킹할 때만 가능한 것이고, 자기가 갖고있지 않은 정보를 해킹에 성공한 사례는 아직 없었다(너무 걱정할 필요 없이 사용해도 된다고 ScreenRant는 말한다). 하지만 그럼에도 이러한 작은 기기들이 해킹당하기 쉽다는 것은 명명백백한 사실이다.

How to Survive in IoT Era

아마존과 애플의 사례는 모두 IoT기기의 통합성(과 그로 인한 보안)과 취약성을 동시에 보여주는 사례라고 할 수 있다. 이들을 통해 우리는 집 안을 더 안전하게 지킬 수도 있으며, 내 소중한 노트북을 잃어버리지 않을 수 있다. 하지만 만약 이들이 해킹당하거나 오용된다면, 내가 몇시에 어디를 가는지, 그리고 인터넷으로 무엇을 보고있는지까지도 해킹당할 수 있다. 인터넷이 발전할 수록 이러한 취약성에 대한 경고는 높아져 왔고, 이번 IoT도 마찬가지이다. 그러니 IoT제품을 이용할 땐 항상 득실을 고려해서 의사결정을 내려야 할 것이다.

How to Facilitate IoT Era

그리고 IoT 제품을 통해 데이터를 분석하는 입장에서, 이전까지 IoT 데이터는 그다지 분석 영역으로 인정되지 않았었다. 이는 데이터가 너무 사소해서 적절한 분석 방안을 찾아내지 못했기 때문이다.

https://www.arubanetworks.com/assets/_ko/eo/HPE_Aruba_IoT_Research_Report.pdf

빅데이터의 눈부신 발전에도 불구하고 얼마나 잘 이용되지 못해왔는지는 위 pdf에 이미 충분히 나와있다.

하지만 이제 IoT에서 점차 많은 정보를 가져가려고 하고 있다. 아마존처럼 IoT가 꺼지지 않게 할 뿐더러, 애플처럼 누가 추적하고 있는지를 비롯한 위치정보를 제공하기도 한다. 데이터의 량이 많아질수록 IoT기기를 분석할 수 있는 기술에 대한 관심이 필요해 보인다. 뿐만 아니라 IoT기기는 해킹에 취약하고, 취약한 만큼 해킹이 기업이미지에 지대한 영향을 미치기에 IoT에서 보내는 이러한 데이터를 소중하게 암호화할 수 있는 기술도 병행되야 할 것이다.

한미정상회담 결과와 백신

인써미 — Sat, 22 May 2021 21:01:41 +0900

오바마가 언급한 UFO를 묻는 기자의 질문에, 나라면 오바마한테 물어보겠다는 트럼프. 기자회견 끝에서 장난치고 있는 모습이다.

한미 정상회담 공동기자회견 (21일) 후기

군 관련 영어시험 준비를 하면서 생각보다 많은 시사 뉴스를 접할 기회가 있었고, 그 연장선의 일환으로 태어나서 처음으로 한미정상회담 기자회견을 찾아봤다. 좀 더 세부적인 내용에 대해서 언급하기를 바랐지만 생각보다는 큰 주제에 대해서만 이야기하고, 내가 생각했던 세부 사항은 국내 기자나 외신을 통해서 찾아봐야 한다는 것도 처음 알았다. 성명서 발표 및 기자회견을 통해 발표한 바에 따르면, 우리나라 군 관련해서 미사일 지침이 종료되었다. 또 국내 백신 파운더리를 구축하기 위해 한미 백신 파트너쉽을 맺었으며, 국군장병 전체를 대상으로 백신을 지원하기로 결정했다.

아래에서 이야기하는 내용 외에도 연합방위태세, 전시전작권 이양, 디지털 제품 공급망 강화(민간우주탐사, 6C, 그린에너지 분야, 해외원전시장), p4g 정상회담 바이든 참여 등의 이야기가 오고갔다.

'미사일 지침' 종료

미사일 지침은 대한민국이 미국과 맺은 일종의 조약으로, 우리나라에서 미국에 미사일 기술에 대한 지원을 받는 대신에 미사일 주권을 팔아넘겼던 것이다. 미사일지침 폐지로 ‘최대 800km 이내’로 설정된 사거리 제한이 완전히 풀렸다. 이론적으로는 대륙간탄도미사일(ICBM) 개발도 가능하다. 이는 중국에 대한 견제를 위해 허용한 것으로 보이며, 실제 국내에서는 장거리 미사일보다는 잠수할발사탄도미사일(SLBM) 개발에 더 힘을 실을 것으로 보여진다고 한다. 점차 개정되면서 한도가 풀리다가, 이번에 완전히 장거리 미사일 발사를 허용하도록 변경된 것이다.

한미 백신 글로벌 포괄적 파트너쉽 구축

이전까지 국내에서는 두 가지 이야기가 오갔다. 하나는 한미 백신 스왑, 그리고 나머지 하나가 바로 한국의 백신 생산국 지정이다. 처음에 뉴스로 접했던 건 한미 백신 스왑이었다. 한국이 미국에 백신이 지금 필요하므로 먼저 지원을 받고, 나중에 갚는다던가 하는 방식이었다. 그러나 이제와서 생각해보면 그건 좀 무리한 외교였고, 그것보다는 우리나라가 백신 생산 파운드리로 선정되어 백신 공급 허브가 된다는 내용으로 이야기가 진행된 듯 했다.

South Korea’s Fix for Covid-19 Vaccine Shortages: Ask U.S. for a Swap

South Korea wants to trade its future supply of vaccine for shots the U.S. can part with now in a one-for-one deal.

www.wsj.com

위 기사에서는 한국이 미국과의 정상회담에서 '부국의 정책: 백신 스와프'를 주장할 것이라고 예상하고 있다. 하지만 결과는 달랐다.

문재인 대통령은 성명서 발표 이후 기자회견 질문에 대한 답변 중에서, 글로벌 허브로서 백신을 생산하게 되면서 대한민국에도 충분한 양의 백신을 공급할 수 있을 것이라고 밝혔다. 뿐만 아니라, '미군과 접촉하는' 대한민국 국군 55만명(대한민국 국군 총원은 약 59만명이다.)을 대상으로 백신 접종을 계획하고 있다고 밝혔다.

개인적으로 이런 호재에 대해 '곧있으면 백신을 맞을 수도 있는 건가?' 라는 생각에 관련 뉴스를 찾아보는 도중, 아래와 같은 뉴스를 찾을 수 있었다.

https://www.mk.co.kr/premium/special-report/view/2021/05/30207/

www.mk.co.kr

뉴스에서는 국가 간 회담에서의 내용을 호재로 받아들여 주식에 투자하지 말라는 내용을 이야기하고 있다.

결국 정상회담에서의 이야기는 앞으로의 방향성에 대한 이야기이기 때문에, 즉각적으로 뭔가가 행해지는 것은 아니라는 뜻이다. 실제로 국내에 백신 파운드리가 설립될 지는 여전히 확신하기에는 이르고, 또 백신이 내 차례까지 오기까지는 조금 더 기다려봐야 할 것 같다.

AI윤리를 지키기 위한 기업의 노력: 위원회

인써미 — Thu, 13 May 2021 20:37:22 +0900

ESG(Environment, Social, Governance)

ESG는 Economic, Social, Governance의 약자로 옛날에 유행했던 CSR(Corporate Social Responsibility)의 연장선상이다. 이미 오래 전부터 있던 단어이긴 하지만, 2020년을 기점으로 해서 부상했고 2021년 클라우스 슈밥의 'The Great Reset'에까지 등장하는 등 상당히 유행을 타고 있는 중이다.

기업이 경제, 사회, 지배구조에 있어서 지속가능하고, 투명하게 운영해야 한다는 내용이 점차 퍼지면서, 기업들은 투자자들을 유치하기 위해서라도 어쩔 수 없이 윤리에 대해 신경쓰는 입장이 되었다. 그리고 그 윤리의 날카로운 끝에 서 있는 건 바로 인공지능이다.

Weapons of Math Destruction

Cathy O'neil의 책 Weapons of Math Destruction은 인공지능 알고리즘으로 인해 피해를 본 사람들에 대해 다루는 책이다. 이 책에는 여러 피해자들이 등장하는데, 이들은 모두 인공지능이 현대인의 편견을 여과없이 학습하며 사람을 판단했기 때문에 피해를 입은 자들이다. 대량살상 수학무기에서 제시하는 문제들은 꽤나 심각한데, 예를 들면 인공지능 판사가 재판할 때 할럼가의 죄수는 경범죄를 저질러도 부유한 집안에 사는 백인들보다 그 처벌 수위가 매우 강하다. 이전에 있었던 인종차별적이고, 자산에 따른 범죄율 등을 모두 반영한 결과이다. 이런 상황에서 (백인들에 비해) 사회적 약자인 흑인들은 차별적인 대우를 받을 수 밖에 없는 상황에 놓여 있다. 또 다른 예가 있다. 한 고등학교 교사는 인공지능 알고리즘을 통한 평가에서 최하점을 맞고 학교에서 퇴출당했다. 이는 중학교 당시 실제 학생들의 성적은 무시한 채, 학교의 위엄을 높이고자 했던 한 중학교 교사가 점수를 모두 만점으로 조작했었기 때문에 나타난 결과였다. 하지만 인공지능은 당연히 이러한 속사정을 제대로 판단하지 못했고, 때문에 한 무고한 교사가 퇴출당한 것이다. 책에서는 이러한 것과 같은 다양한 예시들을 소개해주며 2016년 당시 올해의 책으로 선정되었다.

이는 비단 외국에서만의 문제가 아니다. 얼마 전에도 뉴스에 보고된 적 있는데, '배달 요기요'와 같은 경우에 알고리즘을 이용해 소위 '라이더'들을 평가한다. 문제는 이들의 규제가 심하게 빡빡해서, 잠깐 화장실을 간다고 보고했을 때 이들의 등급이 내려가고, 등급이 1등급 라이더에서 2등급 라이더로 넘어감에 따라 일감이 심각하게 줄어들었다. 이는 인공지능 알고리즘이 '너무 잘' 작동한 나머지 이들의 생활을 고려하지 않을 정도로 업무환경이 힘들어졌다는 점을 시사한다.

화장실 갔다고 일감 '뚝'…'쉴 틈' 없애버린 요기요

사람이 아무리 일하느라 바빠도, 화장실을 안 갈 수는 없죠. 그런데 일하는 도중에 화장실에 다녀오면, 일감이 줄어서 돈을 벌 수 없는 사람들이 있습니다. 바로 국내 2...

imnews.imbc.com

Corporations sensitive at Ethics

때문에 똑똑한 기업들은 이미 이러한 문제점을 알고 있는데, 인공지능을 지극히 잘 활용하고 있는 기업들이 걱정하는 것은 따로 있었다. 인공지능의 이러한 문제점을 바탕으로 정부에서 기업의 활동에 제약을 거는 것이다. 예를 들어 구글과 같은 기업에서는 이미 내규를 만들어 인공지능 활용 방안을 자체적으로 규제한다.

Google Plans to Double AI Ethics Research Staff

Vice President of Engineering Marian Croak also said CEO Sundar Pichai has committed to boost the budget of a team tasked with evaluating code and product to avert harm, discrimination and other problems with AI.

www.wsj.com

"Google plans to double the size of its team studying artificial-intelligence ethics in the coming years, as the company looks to strengthen a group that has had its credibility challenged by research controversies and personnel defections."

위 기사에 따르면 이번에 Google에서는 또다시 Artificial Intelligence Ethics Team의 사이즈를 2배로 늘리고 이 팀에 예산편성을 확대하겠다고 밝혔다. (기사에서 설명하는 건 이번에 전 AI team leader가 내부감사에 따른 정보유출로 인해 바뀐 AI 팀에 대한 이야기이다.) 여기서 주목할 점은 (그런 구설수가 도는 상황에서도) 구글이 신뢰를 회복하기 위해서 계속해서 인공지능 윤리 팀의 크기를 확장하고 있다는 것이다.

How to Build an AI Ethics Committee

노스이스턴대학 윤리 기관 총책임자 Ronald Sandler의 말을 보자.

“And as of now, we don’t have the capacity to pre-emptively address issues before they arise.”

사실은 당연한 말이다. 요즘 인공지능은 Petabyte, Exabyte등의 단위로 학습을 진행하는데 사람이 일일이 확인해 가면서 어떤 데이터를 바탕으로 학습하는지 모든 것을 다 고려할 수 없기 때문이다. 뿐만 아니라 학습방법에 따라 비지도학습의 경우 특히 학습된 데이터의 Parameter가 무엇을 의미하는지도 정확하게 알 수 없을 때도 많다. 가령, 개인의 신용평가를 진행한다고 가정하고 이를 위해 인공지능을 바탕으로 고객을 분석한다고 가정하자. 수많은 Parameter가 생성될 것인데, x1, x2, x3, ... x2000 의 변수 중 무엇이 '거주 구역'에 대한 변수인지 알 수 없다. 때문에 성능에 의해 무차별적으로 가져온 데이터는 거주구역에 따라 사람을 차별할 수도 있게 되는 것이다. 그러나 이미 벌어진 알고리즘의 피해자를 하나하나 찾기가 쉽지가 않다.

How to Build an AI Ethics Committee

A new guidebook aims to help organizations set up data and artificial-intelligence ethics committees and better deal with the ethical issues associated with the technology.

www.wsj.com

Accenture 유한주식회사와 Northeastern 대학에서는 답이 없는 것 처럼 보이는 이러한 윤리적 문제를 해결하기 위해서 'Bioethics'의 위원회가 사용하는 방식을 끌어올 것을 제안한다. 이미 위원회를 꾸려 윤리에 대해 논의하는 것이 법으로 지정되어 있는, 생물윤리 분야에서 AI의 윤리적 문제에 대한 해결방침을 가져오자는 것이다. 인공지능과 마찬가지로 마땅한 해결책을 보이지 않는 분야를, 전문가 모임(Think Tank)를 통해 해결하자는 방식이다.

40년 이상 진행된 Bioethics Commitee는 이미 여러 방침이 존재하지만 한 개의 가이드라인만 뽑자면, 위원회를 구성하는 방식에 대하여 다양한 분야의 전문가를 모집하는 것이다. 예를 들면 AI와 같은 경우에는, Technical Engineer, 법학자, 윤리학자, 그리고 소비자의 의견을 대표하기 위한 대표자 등으로 위원회를 구성할 수 있다. 이러한 구성이 중요한데, 이를 통해 각자의 전문지식에 대해 이해함으로써 정확한 이해를 바탕으로 결론을 지을 수 있기 때문이다. 이외에도, 위원회가 얼마만큼의 권력(power)을 가져야 하는가, 또 어떻게 기능해야 하는가(절차) 등에 대한 논의도 다루고 있다.

Case of Adobe

How Adobe’s Ethics Committee Helps Manage AI Bias

Review boards can help companies mitigate some of the risks associated with using artificial intelligence, an Adobe executive said Wednesday at The Wall Street Journal’s Risk & Compliance Forum.

www.wsj.com

실제로 이러한 방침을 사용해 위원회를 꾸린 기업이 있다. 2년 전 Adobe는 다양한 인종, 성별, 전문분야로 구성된 위원회를 구성했다. 이들의 위원회 사용 방식은 조금 달랐는데, 특정 이슈가 터졌을 때 모여 이들을 해결하려는 것 대신에 'Review Board'를 이용했다.

Review Board

Review Board는 코딩에 대한 의견을 나누고 이를 검토할 수 있도록 하는, MIT개발 소프트웨어이다. 이를 통해 개발자들이 미리 만들어놓은 코드를 실제로 실행하기 전에 구성원들이 의견을 공유할 수 있다. 만약 충분히 사전 검증이 끝났다고 생각된다면 그 때 검토자가 '커밋'을 함으로써 실제 데이터를 분석할 수 있다. 또한 커밋 이후에도 조직 구성원들이 계속해서 알고리즘이 잘 작동하고 있는지, 문제가 있다면 어디서 생겼는지 등에 대한 의견을 개진할 수 있다.

다양한 전공, 직종, 성별, 인종의 회사 구성원들이 자신의 전문분야를 근거로 여러 스탠다드를 만들어 낼 수 있고, 새로운 기술들이 어떤 문제를 야기할지에 대해 의논할 수 있는 소통의 장을 만든 것이다. 실례로, Adobe가 얼굴인식 필터를 만들었을 때, 아프리카계 미국인에 대해서만 얼굴을 잘 인식하지 못하는 경우가 발생함을 아프리카 미국인인 조직 구성원들의 리뷰를 통해 알 수 있었다.

Adobe가 자랑하는 AI Ethics Commitee 웹페이지를 방문했을 때, 이들은 더 다양한 목소리를 듣기 위해서 Partnership of Artificial Intelligence(PAI)에 가입해 인공지능 윤리에서 발생할 수 있는 다양한 문제를 해결할 수 잇었다는 광고 문구 또한 볼 수 있었다. 하지만 여기서 살짝 문제를 발견했는데, PAI 구성원을 대략 나열하자면 Amazon, Adobe, CIFAR(Canada), Apple, BBC 등 영어 언어를 구사하는 국가의 회사나 기관들이었다.

이들 회사에서 서로 소통하며 'Review Board'를 통해 의견을 공유하고 위원회를 구성한다고 하더라도 비영어권 국가에서 발생할 수 있는 편향을 고치는 데에는 한계가 있음이 분명해 보였다. 물론 사내정보를 기업 또는 파트너 외의 기업에 공유하는 건 어불성설이므로, Review Board를 통해 편향을 극복하는 방법 외에도 다양한 방식으로 알고리즘 윤리를 바로잡을 노력이 필요해 보이는 상황이다.

도지코인

인써미 — Mon, 3 May 2021 19:38:18 +0900

www.wsj.com/articles/elon-musks-quips-about-his-aspergers-to-kick-off-snl-host-gig-11620534790?mod=business_featst_pos3

Elon Musk on ‘SNL’ Says He Has Asperger’s, Jokes About Dogecoin

The cryptocurrency, which surged ahead of the broadcast, was trading lower after the Tesla and SpaceX leader said it was “a hustle” during a sketch in which he portrayed a financial expert.

www.wsj.com

사실 이렇게 코인에 대해서 다루는 건 너무 진부하긴 하다.

도지코인은 길게 설명할 것 없이 아래와 같은 상태를 보이는 코인이다.

해당 코인은 2016년경 개발자들이 장난으로 만든 코인이었으나, 지속적인 엘론 머스크의 종목 추천(?)으로 인해 급작스럽게 가격이 오른 코인이다. 대표적인 알트코인에 속하는 도지코인은 정말로 '아무런 이유도 없이' 가격이 오른 케이스로, 현재는 저성능 컴퓨터로 24시간에 10원 정도를 버는 정도이다.

그러나 충격적인 것은 이번 SNL에 참가한 엘론 머스크의 상황이다. 풍자 뉴스 코너인 위켄드업데이트에서 머스크는 금융전문가로 분해 자신을 ‘도지코인의 아버지(dogefather)“라고 소개했다. 머스크는 ”도지코인이 대체 뭐냐“는 진행자의 질문에 도지코인은 ”미래의 화폐다. 세계를 장악할 멈출 수 없는 금융수단“이라고 설명했다.

그러나 이러한 말과는 달리 도지코인은 이번 SNL의 방송 이후 가격이 35%가량 급락했다. 이번 도지코인 가격 급등의 유일한 이유가 엘론 머스크였다는 점을 고려했을 때, 알터 코인의 위험성을 잘 보여주고 있는 사례이다.

빅데이터 분산 처리 시스템 하둡(Hadoop) 및 HDFS

인써미 — Mon, 3 May 2021 17:21:47 +0900

하둡의 역사

데이터 홍수의 시대에 살게 되면서 비정형데이터를 포함한 큰 데이터를 다루기 위한 프로그램이 필요하게 되었다. 하둡은 '더그 커팅'이란 사람이 루씬이라는 라이브러리를 기반에서 만들어진 자바 기반 프로그램이다. 구글이 발표한 논문을 바탕으로 만들어진 프로그램이다.

2002년, '넛치'라는 프로그램이 시작한다. 웹크롤링을 하는 과정에서 '빅데이터'를 저장하여 활용할 필요성을 느낀다. 2003년에 구글 파일 시스템이라는 논문을 발표하고, 넛치 프로그램 팀은 이러한 논문을 이용하여 병렬 분산 처리 프로그램을 작성하기 시작한다. 2004년 뿐만 아니라 구글 맵리듀스라는 논문을 또한 설명하기 시작하는데, 더그 커팅은 이러한 논문을 그대로 본따 맵리듀스를 제작한다.

당시 야후는 가장 큰 검색엔진 시스템이었는데, 경계심을 느낀 야후는 구글의 그러한 검색 엔진을 이기기 위하여 하둡에 투자한다. 그 이후로 계속해서 하둡은 발전하고, 지금은 3.3.30버젼 이상까지 나와 있는 상황이다.

HDFS - Hadoop Distributed File System 실제 사례

하둡의 분산 파일 시스템은 데이터를 여러 서버에 저장시키는 방식으로 진행된다. 해당 방식을 이용하여 하둡으로 데이터를 분석하는 기업들에 대한 몇 가지 사례를 알아보자.

샤오미

샤오미는 타사 클라우드를 이용하기보다는 자기 기업에 서버를 설치하여 데이터를 관리하고 분석하기로 결정했다. 고객의 개인정보 유출에 대해 민감한 상황에서 이런 결정은 어쩌면 당연한 것일지도 모른다.

Adobe

포토샵으로 유명한 어도비도 마케팅에 사용되는 빅데이터를 이용하기 위해 하둡을 이용하기로 했다. 이를 통해 어도비를 사용하는 사람들은 온오프라인 채널의 어도비 캠페인에도 참여할 수 있다.

사실 하둡은 어디서나 사용되긴 하지만 HDFS같은 경우 요즘 AWS를 비롯한 클라우드 플랫폼에 밀려 감소하는 추세이다. 그럼에도 불구하고 하둡 분산 파일 시스템은 초창기 빅데이터 분석의 기준이 되었고, 정형화된 파일 뿐만 아니라 비정형화된 다양한 데이터를 분석할 수 있었으며, 지금 클라우드 분산 파일 저장 시스템의 모태가 되었다는 점에서 그 의의를 찾을 수 있을 것이다.

플랫폼형 기업

인써미 — Mon, 12 Apr 2021 23:01:28 +0900

플랫폼형 기업, 정확히 말하자면 플랫폼형 비즈니스 모델에 대해 이야기해보려고 합니다. 플랫폼형 기업은 소비자와 생산자의 거래를 촉진시키는 역할을 하면서 돈을 버는 모델인데요, 원래 플랫폼 하면 공항, 버스 정류장, 지하철 들이 생각나잖아요? 이게 우리와 전철, 버스, 비행기를 이어주는 교두보 역할을 했기 때문에. 요즘에 나타나는 플래폼형 비즈니스 모델은 이러한 플랫폼의 역할을 소프트웨어 속으로 집어넣은 것입니다. 쉽게 말하자면, 소프트웨어 업계의 건물주라고 할 수 있죠. 세입자들이 내 건물에서 장사하도록 만들고, 소비자 또는 기업으로부터 월세를 받으니까요.

예를 들어서 페이스북, 인스타그램, 유튜브, 우버와 같은 우리가 흔히 쓰는 앱들이 있습니다. 우리가 유튜브를 볼 때, 유튜브가 주가 돼서 어떤 고퀄리티 영상을 생산하는 역할을 하지는 않잖아요? 그런 것처럼 플랫폼을 그냥 제공해주고 이용자들이 스스로 만들어가는 역할을 하는 게 플랫폼형 비즈니스 모델입니다.

플랫폼형 기업은 기준에 따라서 그 형태도 정말 다양하게 구분할 수 있는데요, 너무너무 다양해서 일단은 연결 형태에 관한 구분만 짓겠습니다. 싱글 사이드 플랫폼은 플랫폼 기업이 판매자들과 제휴 등을 맺어 그들이 판매를 할 수 있는 환경을 조성하는 형태입니다. 양면 사이드 플랫폼은 제휴 없이 소비자와 판매자가 한데 어우러져 스스로 환경을 만들 수 있도록 조성하는 플랫폼입니다. 마지막 멀티 플랫폼은 단체들이 한 데 어우러질 수 있도록 환경을 제공하는 형태입니다. 유형만 봐도 알 수 있듯이 플랫폼형 기업은 어떤 창의적인 것을 생산해 내기보다는 그런 것들이 생산될 수 있는 환경을 마련해주는 역할을 한다고 볼 수 있습니다.

플랫폼형 기업의 장점은 첫째, 소비자와 생산자의 교류를 확대합니다. 둘째, 소비자들이 다양한 기업을 같은 환경에서 비교할 수 있게 함으로써 정보 획득을 용이하게 합니다. 셋째, 환경을 제공해주기 때문에 원래 필연적으로 발생했던 가치의 교환 비용을 확실히 줄여 줍니다. 이러한 요소들은 판매자들과 같은 소상공인의 경쟁력은 강화하는 한편, 다양한 소비자가 한데 모여 새로운 것들을 창조해낼 수 있는 장이 되기도 하면서 다양한 부가가치들을 창출해내고 있습니다. 이러한 장점들에 힘입어, 2050년도에는 S&P 500에 들어가는 기업의 매출 중 플랫폼형 기업이 차지하는 비율이 40%가까이 될 거라는 전망도 나오고 있습니다.

하지만 동시에 플랫폼형 기업은 상당히 역설적으로 보이는 치명적인 단점들도 가지고 있습니다. 다양한 개인들이 한 데 어우러지는 장의 역할을 하면 좋을 것 같지만, 그 앱에 관심이 있는 사람들만 모이게 된다는 공통점이 있기 때문에 이들의 폐쇄성이 오히려 사람들을 편향된 생각으로 이끌며 양분화하기도 한다고 합니다. 다음은 시대착오적 발상입니다. 플랫폼형 기업을 표방하는 기업들 중 실상은 환경 조성보다는 바로 눈 앞에 이익에 눈이 멀어 개인에게 오히려 질 나쁜 경험을 선사시켜 주기도 합니다. 유튜브에서 마구 수입한 질 나쁜 광고가 이러한 종류에 포함되기도 합니다. 또 정부 정책 또한 아직 이런 플랫폼형 기업을 담지 못해 위법한 것처럼 보이는데도 막을 수 없는 사태가 벌어지곤 합니다. 이뿐만이 아닙니다. 플랫폼형 기업과 같은 경우는 한 번 독점의 지위에 올랐을 때 다른 것으로 대체되기 어려운데, 이는 개인들이 이미 그 플랫폼에 너무 익숙해져버렸기 때문입니다. 이 때 기업들이 가격 인상 정책과 같은 강수를 뒀을 때, 견제할 수 있는 세력이 살아남기 어렵습니다. 그리고 이러한 특성들은 소상공인의 경쟁력을 오히려 약화시키는 결과를 낳기도 합니다.

그 실제 예시가 얼마 전에 뉴스에서 떠들썩했던 카카오택시입니다. 사실 몇년 전 우리나라에 이러한 플랫폼형 기업 우버가 진출을 시도했다 실패한 적이 있습니다. 택시 기사 연합이 우버가 택시기사의 이익을 침해할 가능성이 있다고 반대했기 때문입니다. 그러나 이미 대한민국에서 인지도가 높았던 카카오 택시는 우버를 막기 위해 만들어진 반-공유택시 법을 요리조리 피해가며 플랫폼형태의 앱을 제작했고, 덕분에 우리나라 콜 택시 비중의 80%가 넘어가며 대한민국을 독점했습니다. 문제는 카카오택시가 독점을 기반으로 심지어 가맹이 아닌 택시기사들에게 월 10만원의 요금을 받는 초강수 정책을 펼쳤습니다. 택시기사와 같은 소상공인들의 이익 뿐만 아니라, 2000원 이하로 잡혀있는 국내 택시 콜비 정책도 '앱 이용료'라는 편법을 사용해 2~5000원으로 올려 소비자들의 이익도 모두 가져가고 있습니다. 결국 기존 택시 시장보다 더 많은 비용을 내야 하는 환경으로 변경되고 있는 것입니다.

SQL

인써미 — Sun, 28 Feb 2021 14:41:01 +0900

Relation(table) : Contains tuples and attributes

Tujple(row) a set of fields that generally represents an "object" like aperson or a music track

Attribute(Column) : one of possibly many elements of data corresponding to the object represented by the row

CRUD - SQL이 하는 것

Create a table

Retrieve some data

Update Data

Delete Data

Database Model

데이터베이스의 Schema, contract라고 생각하면 된다. 어떻게 데이터베이스가 생겨먹어야하는지에 대한 정보를 제공한다.

CREATE TABLE Users(
name VARCHAR(128),
email VARCHAR(128)
)

Upepr case, Lower Case는 웬만한 상황에서는 중요하므로 꼭 신경써서 쓰도록 해야 한다.

테이블을 만들고, name은 이름, VARHCAR는 유형이다. 128은 Variable Length Character을 의미한다. 여기서 Variable Length Character는 중요한데, 데이터의 정보가 얼마나 큰지를 미리 파악해둬야 데이터를 읽고 쓸 때 속도가 빨라지기 때문이다. 나머지 빠르게 해주는 속도는 얘가 알아서 해줄 것이니 걱정하지 말아라.

SQL Insert

INSERT INTO Users (name, email) VALUES ('Kristin', 'kf@umich.edu')

SQL Delete

DELETE FROM Users WHERE email='ted@umich.edu'

SQL Update

UPDATE Users SET name='Charles' WHERE email='csev@umich.edu'

SQL Select

SELECT*FROM Users WHERE email='csev@umich.edu'

SQL Order

SELECT*FROM Users ORDER BY name
SELECT*FROM Users ORDER BY email

py4e - Using Database with Python [Chapter 14]

인써미 — Sun, 28 Feb 2021 13:26:47 +0900

힘겨운 Json까지 끝내고, 이제는 Database를 공부할 수 있게 됐다. SQL같은 걸 배우게 되려나? 일단 보자.

배울 것

Object Training Programming, "Structured Query Language", Visualization ...

드디어 SQL에 대해서 배운다. Uber Datascientist의 인터뷰에서 Data Scientist는 3 가지, R, Python, SQL을 다룰 줄 알아야 한다고 하셨는데, 오늘 강좌로서 나는 이제 그 세 개를 다 '맛만' 보게 된 것이다. 그래도 기본적인 연산자나.. 구조 등에 대해서는 배울 수 있었으니 앞으로 공부하는 데 많은 도움이 될 거라고 생각한다. 참, 아직 SQL 안들었다. 대량 데이터를 다루기 위해 구조화시키는 언어, SQL을 배워보자.

14.1 Object Oriented(OO) Definitions and Terminology

파이썬 용어 정리 : Object(Instance); Class; Method(Messege; code);

14.2

class PartyAnimal:
    x = 0
    
    def party(self):
        self.x = self.x + 1
        print("So far", self.x)

14.3 Object Life Cycle

x= "Hello World"

quit()

Class를 만듦에 있어서 변수에 그 클래스를 할당할 때 Constructor,

그리고 그 변수를 이제 다 사용하고 삭제할 때 Destructor

#Independently Stored variables
class PartyAnimal:
    x = 0
    name = ""
    def __init__(self,z) :
        self.name = z
        print (self.name, "consturcted")
        
    def party(self):
        self.x = self.x + 1
        print(self.name, "party count", self.x)
        
s = PartyAnimal("Sally")
s.party()

j = PartyAnimal("Jim")
j.party()
s.party()

Object Inheritance

템플릿 템플릿 템플릿 형태로, 여러 템플릿이 겹쳐진다. (나무처럼) 마치 Extension of Template

class FootballFan (PartytAnimal) :
    def touchdown(self):
        self.points = blahblah

이제

s = PartyAniomal("Sally")
s.party()
s.touchdown()

이 가능해진다.