인공 지능
시각적 인식
•
Computer Vision 기능을 사용하여 이미지, 비디오 스트림, 라이브 카메라 등의 입력을 허용, 해석, 처리하는 기능
텍스트 분석 및 대화
•
NLP(자연어 처리)를 사용하여 "읽을" 뿐만 아니라 현실적인 응답을 생성하고 텍스트에서 의미 체계 의미를 추출할 수 있는 기능
음성
•
음성을 입력으로 인식하고 음성 출력을 합성할 수 있는 기능
•
텍스트의 NLP 분석을 적용하는 기능과 음성 기능을 함께 사용하면 대화형 AI로 알려진 인간-컴퓨팅 상호 작용 형태를 사용할 수 있으며, 이때 사용자는 다른 사람과 상호 작용하는 것과 거의 동일한 방식으로 AI 에이전트(일반적으로 봇이라고 함)와 상호 작용할 수 있다.
의사 결정
•
과거 경험 및 학습된 상관 관계를 사용하여 상황을 평가하고 적절한 동작을 수행할 수 있는 기능
•
예를 들어 센서 판독값의 이상을 인식하고 오류 또는 시스템 손상을 방지하기 위해 자동화된 동작을 수행한다.
AI 엔지니어를 위한 고려사항
모델 학습 및 추론
학습 프로세스는 데이터를 분석하고 데이터의 기능(일반적으로 새 관찰에 표시되는 데이터 값)과 레이블(모델이 예측하도록 학습되는 값) 간의 관계를 결정한다.
확률 및 신뢰도 점수
잘 학습된 기계 학습 모델은 정확할 수 있지만 오류가 없는 예측 모델은 없다.
책임 있는 AI 및 윤리
사회 전반에 미치는 영향을 고려하는 것이 중요하다.
책임 있는 AI에 필요한 고려사항
공정성, 안정성 및 안전성, 개인 정보 보호 및 보안, 포용성, 투명성, 책임성
Azure Machine Learning
•
대규모 실험을 실행하여 데이터에서 예측 모델을 학습하고 학습된 모델을 서비스로 게시하기 위한 클라우드 기반 플랫폼
Azure Machine Learning 특징 및 기능
특징 | 기능 |
자동화된 기계 학습 | 비전문가도 데이터를 활용해 효과적인 기계 학습 모델을 빠르게 만들 수 있도록 지원 |
Azure Machine Learning 디자이너 | 코딩 작업 없이 기계 학습 솔루션을 개발할 수 있는 그래픽 인터페이스 |
데이터 및 컴퓨팅 관리 | 전문적인 데이터 과학자들이 데이터 실험 코드를 대규모로 실행하기 위해 활용할 수 있는 클라우드 기반 데이터 스토리지 및 컴퓨팅 리소스 |
파이프라인 | 데이터 과학자, 소프트웨어 엔지니어 및 IT 운영 전문가들이 모델 교육, 배포 및 관리 작업을 구성할 수 있는 파이프라인을 정의할 수 있습니다. |
•
데이터 과학자
◦
데이터를 수집하고 준비
◦
실험을 실행하여 데이터를 탐색하고 예측 모델을 학습
◦
학습된 모델을 웹 서비스로 배포하고 관리
•
소프트웨어 엔지니어
◦
자동화된 Machine Learning 또는 Azure Machine Learning 디자이너를 사용하여 기계 학습 모델을 학습시키고 AI 지원 애플리케이션에 통합할 수 있는 서비스로 배포
◦
데이터 과학자와 협업하여 Scikit-Learn, PyTorch 및 TensorFlow와 같은 일반적인 프레임워크를 기반으로 모델을 웹 서비스로 배포하고 애플리케이션에서 모델을 사용할 수 있다.
◦
Azure Machine Learning SDK 또는 CLI(명령줄 인터페이스) 스크립트를 사용하여 전체 애플리케이션 제공 솔루션의 일부로 기계 학습 모델의 버전 관리, 배포 및 테스트를 관리하는 DevOps 프로세스를 오케스트레이션한다.
Azure AI 서비스의 기능
•
Azure AI 비전 - 이미지와 동영상의 콘텐츠를 분석
•
Azure AI 언어 - 업계를 선도하는 자연어 이해 기능으로 앱을 빌드
•
Azure AI 음성 - 음성 텍스트 변환, 텍스트 음성 변환, 번역 및 화자 인식 솔루션
•
Azure AI 문서 인텔리전스 - 청구서, 영수증 등의 양식에서 의미론적 의미를 추출할 수 있는 OCR(광학 인식) 솔루션
•
Azure AI 검색 - AI 서비스를 사용하여 데이터와 문서에서 인사이트를 추출하는 클라우드 규모 검색 솔루션
•
Azure OpenAI - OpenAI GPT-4 기능에 대한 액세스를 제공하는 Azure AI 서비스
자연어 처리 | 지식 마이닝 및 문서 인텔리전스 | 컴퓨터 비전 | 의사 결정 지원 | 생성 AI |
텍스트 분석 | AI Search | 이미지 분석 | 콘텐츠 안전 | Azure OpenAI Service |
질문 답변 | 문서 인텔리전스 | 동영상 분석 | 콘텐츠 조정 | DALL-E 이미지 생성 |
언어 이해 | 사용자 지정 문서 인텔리전스 | 이미지 분류 | ||
Translation | 사용자 지정 기술 | 개체 감지 | ||
명명된 엔터티 인식 | 얼굴 분석 | |||
사용자 지정 텍스트 분류 | 광학 문자 인식 | |||
음성 | Azure AI Video Indexer | |||
Speech Translation |
Azure AI 검색 기능
•
전용 검색 엔진 웹 사이트부터 현재 위치 및 수행하려는 내용에 따라 상황에 맞는 정보를 찾을 수 있는 모바일 앱에 이르기까지 많은 애플리케이션에서 일반적인 요구 사항
•
다양한 원본에서 데이터를 수집 및 인덱싱하고 인덱스를 검색하여 원본 데이터에서 추출된 정보를 찾고 필터링하고 정렬할 수 있는 Applied AI 서비스
Azure AI Service 생성 및 사용
•
Azure AI 서비스는 클라이언트 애플리케이션이 서비스를 사용하는 데 사용할 수 있는 REST API(애플리케이션 프로그래밍 인터페이스)를 제공한다.
•
그러나 애플리케이션을 개발하는 프로그래밍 언어에 대한 네이티브 라이브러리를 사용하여 더 복잡한 솔루션을 빌드하는 것이 더 쉽다.
•
일반적인 프로그래밍 언어용 SDK(소프트웨어 개발 키트)는 대부분의 AI 서비스에 대한 REST 인터페이스를 추상화한다.
◦
SDK 가용성은 개별 AI 서비스에 따라 다르지만 대부분의 서비스에는 다음과 같은 언어용 SDK가 있다.
▪
Microsoft C#(.NET Core)
▪
Python
▪
JavaScript(Node.js)
▪
Go
▪
Java
Azure AI 서비스 리소스 프로비전
다중 서비스 리소스
•
다양한 AI 서비스를 지원하는 AI 서비스 리소스를 프로비전할 수 있다.
•
모든 서비스의 사용에 대한 단일 청구 지점을 사용하여 단일 엔드포인트에서 여러 서비스를 사용하기 위한 단일 액세스 자격 증명 집합을 관리할 수 있다.
단일 서비스 리소스
•
Azure 구독에서 개별 AI 언어 및 AI Vision 리소스를 생성하여 각 AI 서비스를 개별적으로 프로비저닝할 수 있다.
•
이 접근 방식을 사용하면 각 서비스에 대해 별도의 엔드포인트를 사용하여(예를 들어 서로 다른 지리적 지역에 프로비저닝) 각 서비스에 대한 액세스 자격 증명을 독립적으로 관리할 수 있습니다. 또한 각 서비스에 대해 개별적으로 청구를 관리할 수 있다.
•
단일 서비스 리소스는 일반적으로 사용 제한이 있는 무료 계층을 제공하여 프로덕션 애플리케이션에서 사용하기 전에 서비스를 사용해 볼 수 있는 유용한 옵션을 제공한다.
학습 및 예측 리소스
대부분의 AI 서비스는 단일 Azure 리소스를 통해 사용할 수 있지만 일부는 모델 학습 및 예측을 위한 별도의 리소스를 제공(또는 요구)한다.
엔드포인트 및 키 식별
Azure 구독에서 Azure AI 서비스 리소스를 프로비전할 때 애플리케이션에서 서비스를 사용할 수 있는 엔드포인트를 정의
해당 엔드포인트를 통해 서비스를 이용하려면 다음 정보가 필요하다.
•
엔드포인트 URI.
◦
서비스의 REST 인터페이스에 액세스할 수 있는 HTTP 주소
◦
대부분의 AI Services SDK(소프트웨어 개발 키트)는 엔드포인트 URI를 사용하여 엔드포인트에 대한 연결을 시작합니다.
•
구독 키.
◦
엔드포인트에 대한 액세스는 구독 키에 따라 제한된다.
◦
클라이언트 애플리케이션은 서비스를 사용하기 위해 유효한 키를 제공해야 함.
◦
AI 서비스 리소스를 프로비전하면 두 개의 키가 생성된다. 애플리케이션은 두 키 중 하나를 사용할 수 있다.
◦
리소스에 대한 액세스를 제어하기 위해 필요에 따라 키를 다시 생성할 수도 있다.
•
리소스 위치.
◦
Azure에서 리소스를 프로비저닝할 때 일반적으로 리소스를 정의하는 Azure 데이터 센터를 결정하는 위치에 할당.
◦
대부분의 SDK는 엔드포인트 URI를 사용하여 서비스에 연결하지만 일부는 이러한 위치를 요구한다.
안전한 Azure AI Service
인증 고려
Azure Key Vault
•
암호 및 키와 같은 비밀을 안전하게 저장할 수 있는 Azure 서비스
•
이는 Microsoft Entra ID를 사용하여 인증된 사용자 ID로 생각할 수 있다.
•
AZURE Key Vault에 AI 서비스 리소스에 대한 구독 키를 저장하고 서비스를 사용해야 하는 클라이언트 애플리케이션에 관리 ID를 할당할 수 있다. → 애플리케이션은 권한이 없는 사용자에게 노출될 위험 없이 키 자격 증명 모음에서 필요에 따라 키를 검색할 수 있다.
토큰 기반 인증
•
REST 인터페이스를 사용하는 경우 일부 AI 서비스 지원(또는 필요) 토큰 기반 인증이 필요하다.
•
이러한 경우 구독 키는 유효한 기간이 10분인 인증 토큰을 가져오기 위한 초기 요청에 표시된다.
•
후속 요청은 호출자가 인증되었는지 유효성을 검사하기 위해 토큰을 제공해야 한다.
SDK를 사용하는 경우 토큰을 가져오고 표시하는 호출은 SDK를 통해 처리된다.
Microsoft Entra ID 인증
Azure AI 서비스는 Microsoft Entra ID 인증을 지원하므로 Azure에서 실행되는 앱 및 서비스에 대한 특정 서비스 주체 또는 관리 ID에 대한 액세스 권한을 부여할 수 있다.
1.
서비스 주체를 사용하여 인증
2.
사용자 지정 하위 도메인 만들기
•
Azure Portal, Azure CLI 또는 PowerShell을 비롯한 다양한 방법으로 사용자 지정 하위 도메인을 만들 수 있다.
•
Azure Cloud Shell에서 PowerShell을 사용하여 하위 도메인을 만들 수 있다.
Set-AzContext -SubscriptionName <Your-Subscription-Name>
PowerShell
복사
•
그런 다음, 다음을 실행하여 사용자 지정 하위 도메인을 지정하는 Azure AI 서비스 리소스를 만든다.
$account = New-AzCognitiveServicesAccount -ResourceGroupName <your-resource-group-name> -name <your-account-name> -Type <your-account-type> -SkuName <your-sku-type> -Location <your-region> -CustomSubdomainName <your-unique-subdomain-name>
PowerShell
복사
•
생성되면 하위 도메인 이름이 응답에 반환된다.
3.
서비스 주체에 역할 할당
•
사용자 지정 하위 도메인과 연결된 Azure AI 리소스를 만들었습니다. 다음으로, 서비스 주체에 역할을 할당한다.
•
시작하려면 애플리케이션을 등록해야 함.
$SecureStringPassword = ConvertTo-SecureString -String <your-password> -AsPlainText -Force
$app = New-AzureADApplication -DisplayName <your-app-display-name> -IdentifierUris <your-app-uris> -PasswordCredentials $SecureStringPassword
PowerShell
복사
•
그런 다음 New-AzADServicePrincipal 명령을 사용하여 서비스 주체를 만들고 애플리케이션의 ID를 제공
New-AzADServicePrincipal -ApplicationId <app-id>
PowerShell
복사
•
마지막으로 다음을 실행하여 Cognitive Services 사용자 역할을 서비스 주체에 할당
New-AzRoleAssignment -ObjectId <your-service-principal-object-id> -Scope <account-id> -RoleDefinitionName "Cognitive Services User"
PowerShell
복사
4.
관리 ID를 사용하여 인증
관리 ID 유형
•
시스템 할당 관리 ID: 관리 ID가 만들어지고 Azure AI 서비스에 액세스해야 하는 가상 머신과 같은 특정 리소스에 연결됩니다. 리소스가 삭제되면 ID도 삭제됩니다.
•
사용자 할당 관리 ID: 관리 ID는 여러 리소스에 연결되지 않고 여러 리소스에서 사용할 수 있도록 만들어집니다. 단일 리소스와 독립적으로 존재합니다.
•
리소스를 만드는 동안 또는 이미 생성된 후에 리소스에 각 유형의 관리 ID를 할당할 수 있다.
az vm identity assign -g <my-resource-group> -n <my-vm>
PowerShell
복사
