Search

The Present and Future of AI Infrastructure

대분류
기타
소분류
컨퍼런스 기록
유형
SK AI SUMMIT
최종 편집 일시
2024/11/09 13:34
생성 일시
2024/11/04 05:32
15 more properties

AI 데이터 센터의 등장

특정한 영역에서 사용되는 것 뿐만 아니라 거의 모든 영역에서 널리 우리 생활에 사용되어질 것이다.

회사 운영에서의 큰 변화

Lambda
GPU 호스팅을 위한 데이터 센터 검토
랙 밀도 당 킬로와트 수
기존 통신 랙과 GPU 호스팅용 랙의 가장 큰 차이점
오늘날 초기 버전의 ai 서버는 최소 15개가 필요했지만 랙당 30kVA로 매우 빠르게 증가하였다. 그리고 계속 증가중이다.
후면 도어 열 교환기, 다이렉트 투 칩 액체 냉각과 같은 것을 추가해야 한다.
랙밀도
펭귄
워크로드의 수요 상황
냉각기술은 빠르게 변환중이다.
공기에서 액체로 칩을 직접 냉각
컴퓨팅 성능의 경우 대규모 확장이 필요
skt
콜로케이션 사업
건물부터 전기 설비 등등 클라우드 사업자들이나 기업들이 본인들의 서버나 랙을 가져다 쓰는 사업
통신 네트워크 - 거기서 서비스 비를 받는 - Growing Business
AI 데이터 센터로 바뀌면서
기술적인 난이도가 높아져서 빅텍의 역할이 가능해졌다 볼 수 있다.
니치하지만 쉽게 다가갈 수 있는, 통신 사업자 입장에서 다양한 의미가 있다.
새로운 비즈니스 기회들이 많아졌다.

기술적 요구 사항에 따른 AI 데이터 센터의 수요에 대한 이해/인사이트

랙 밀도와 더불어 규모
엣지 컴퓨팅, 그리고 인구 밀접 지역까지 지연 시간이 매우 짧은 콘텐츠 전송 네트워크(CDN)에 대한 것
지능적인 방식으로 그리드를 확장하고 주거 지역에 훌륭한 서비스들을 지속적으로 제공하는 동시에 AI 데이터 센터에 대한 수요도 충족할 수 있다.
AI 잠재력떄문에 뒤쳐져서는 안된다.
상업적 관점에서 ai의 전략적 가치
많은 기업들의 인프라 구축에 투자를 아끼지 않고 있따.
일부 기업에선 온 프라미스를 유지중이다.
어느쪽이던, 상업적 성공을 위한 적절한 애플리케이션 환경을 구축할 경우 얻을 수 있는 이점
AI의 배포와 그 가치는 많은 국가와 기업이 AI 모델을 배포하고 개방형 모델을 사용하기로 결정 할 것이다.
개방형 모델 에코시스템은 모델을 배포하는 방식에 대한 유연성을 높이는 데 매우 유용하다.

전력 문제

수급
대다수의 데이터센터가 수도권에 밀집되어 있다.
클러스터링 효과
클라우드 사업자들의 임플로이들이 수도권에서 살기를 희망해서
데이터센터를 타 지역으로 내려보내야하는데 이 문제가 허들이 높다.
전력이 서울에서 더이상 끌어다 쓸 여력이안된다.
가격
전기값이 증가
데이터센터는 글로벌리 경쟁을 한다. → 한국, 인도, 말레이시아 등등
한국 전력값이 경쟁령이 있지를 않다 → 어? 다른 곳에 짓는게 더 이득이네?
자가발전 논의 - 아직 초기
탄소 중립

고객 비용을 낮추기 위한 전략 - 글로벌 경쟁력

AI 배포를 구성하는 각 요소의 변화 속도는 정말 전례가 없을 정도로 빠르다.
해결책은 고객의 관점에서 생각하면 된다.
람다의 비즈니스 모델
고객의 요구가 무엇인지 열린 마음으로 파악하는 것이 중요하다.
RISC-V AI 가속기 보드 구축
솔루션이 어떻게 작동하는지 알고 있을 뿐 아니라 실제로 솔루션을 배포하고 구현하여 고객이 거정할 필요가 없도록 하였다.
람다의 전략
변동 비용의 상당 부분은 감가상각비에서 발생
사용률이 높을 때 감가상각비가 발생
단위당 감가상각비에서 가장 주요한 사항은 기동률이다.
클라우드서비스에서 50% 사용율

인재 채용에 관한 방법

AI 분야에서 25년 경력을 가진 사람을 찾을 수 없다.
다른 기술을 가진 사람을 찾는 것
지적으로 호기심이 많은 사람, 확실히 독립적인 사고를 하는 사람
위험을 감수하는 사람
새로운 역량과 기술이 도입도고 있기 떄문에 채용 방식과 동기 부여 방식이 달라져야 한다.
사람들은 자신이 하는 일에 흥미와 열정을 가진 다른 똑똑한 사람들과 함꼐 일하고 시어한다.
똑똑하고 열심히 알하며 설실성이 높은 사람들
동기 부여, 팀 중심, 열린 마음