아티클

혁신의 유산: AI를 위한 첨단 냉각 기술 선도 및 HPC

디지털 리얼티의 2023년을 돌아보고 2024년을 전망합니다.

Chris Sharp, Digital Realty CTO

매 해 연말이 되면 저는 지난 한 해 동안의 성과와 교훈을 되돌아보고, 미래를 계획할 때 과거를 바탕으로 어떻게 발전하고 있는지 돌아보곤 합니다.

지난 한 해 동안, 인공지능(AI)과 고성능 컴퓨팅(HPC)은 비즈니스 혁신을 위한 핵심 조건으로 부상했습니다.

이에 따라 IT 기업들에게는 적절한 IT 인프라로 이러한 고밀도 워크로드를 지원하는 것이 주요 과제가 되었으며, 많은 커뮤니티에셔서는 액체 냉각과 같은 고급 냉각 기술에 대한 논의가 활발해지고 있습니다.

오늘날 데이터 센터에서 가장 많이 채택되는 냉각 방식은 직접 액체 냉각(DLC) 방식입니다. 그런데, 디지털 리얼티는 2015년부터 디지털 리얼티의 데이터 센터 설계에 DLC(직접 액체 냉각)를 선도적으로 도입하고 있었습니다.이를 통해 우리는 액체 냉각 방식이 모든 고밀도 AI 또는 HPC 워크로드에 항상 적합한 선택지가 아니라는 점도 선도적으로 파악하여, 혁신적이고 효율적인 기술이 적용된 고급 냉각 방식을 연구하고 적용하고 있습니다.

이 글에서는 AI 및 HPC와 같은 고밀도 워크로드에 필요한 데이터 센터 냉각의 기본 사항과 디지털 리얼티가 액체 냉각을 포함한 모든 종류의 고급 냉각 기술에 대한 수요를 높이기 위해 어떻게 대응해 왔는지에 대해 다룹니다.

또한, 혁신을 실현하기 위해서는 획일적인 접근 방식이 아니라 올바른 전략과 적절한 파트너를 확보하는 것이 얼마나 중요한지 보여주는 사례 연구도 다루려고 합니다.

고밀도 워크로드의 냉각 요구 사항

냉각 요구 사항은 AI 또는 HPC 배포의 밀도에 따라 결정됩니다.

AI 및 HPC에 필요한 전력 밀도는 기존의 워크로드보다 5~10배 더 높을 수 있습니다. 기존 워크로드는 일반적으로 랙당 5~8kW 범위에 존재합니다.

2024년에는 일부 컴퓨팅 하드웨어가 랙당 100kW를 초과하는 전력 밀도를 지원하게 될 수도 있으며, 데이터 센터 밀도의 최고점 또한 몇 년 안에 랙당 150kW에 도달하게 될 수 있습니다.

기존의 워크로드 밀도는 공랭식으로 지원 가능하지만 대체로 AI & HPC 워크플로우에는 직접 액체 냉각 (DLC), 공기 보조 액체 냉각 (AALC) 또는 후면 도어 열 교환기 같은 특수 냉각이 필요합니다.

모든 AI & HPC 워크로드에 액체 냉각 방식이 필요한 것은 아닙니다.

액체 냉각에 대한 요구 사항은 하드웨어 공급업체, 특정 하드웨어 자체 및 워크로드 유형에 따라 달라집니다. 모든 하드웨어나 시나리오에 액체 냉각 방식이 반드시 적절한 것은 아닙니다.

AI 시대라고 하더라도 모든 랙이 100kW를 출력할 수 있는 것은 아니며, 특수 고급 냉각이 필요하지도 않을 수도 있기 때문입니다.

예를 들어, 추론(Inferencing) 배포는 훈련(Training) 배포보다 전력 소모가 적고 기존의 공랭식 냉각 기술로 냉각할 수 있습니다. 머신러닝은 이렇게 비교적 적은 리소스를 필요로 하나, 딥러닝과 생성형 AI는 훨씬 복잡하기 때문에 대규모 연산 환경이 필요합니다.

때문에 IT 기업의 리더들은 AI 및 HPC 워크로드마다 냉각 요구 사항이 다르며, 모든 데이터 센터 파트너가 고급 기술을 구현하는 데 필요한 전문 지식이나 인프라 역량을 갖춘 것은 아니라는 점을 이해하는 것이 중요합니다.

즉, 각 기능에 대한 요구 사항은 다양하므로 획일적인 접근 방식에 의존하지 않고 맞춤형 솔루션을 설계할 수 있는 파트너와 협력하는 것이 필수적입니다.이것이 바로 디지털 리얼티의 고급 냉각 기능을 갖춘 데이터 센터 설계 전문성이 고객에게 변화를 가져오는 지점입니다.

혁신을 위한 전략

디지털 리얼티의 글로벌 데이터 센터 플랫폼인 PlatformDIGITAL^®은 여러 획기적인 AI 및 HPC 워크로드를 지원할 수 있는 플랫폼으로 채택되고 있습니다.

여러 경험을 통해, 우리는 몇 가지 핵심 전략을 통해 기술 발전 속도를 맞출 수 있을 뿐 아니라 한 발 앞서 나갈 수 있다는 사실을 알게 되었습니다.

AI 및 HPC 워크플로우를 지원하는 IT 전략은 다음 조건들을 갖춰야 합니다.

민첩성
규모 조정
지속 가능한 성장

지난 10년간의 혁신 여정에서 얻은 이 사례 연구는 이러한 전략이 실제로 어떻게 실행되고 있는지 보여줍니다. 또한, 일률적인 접근 방식에 의존하지 않고 상황에 맞는 올바른 솔루션을 찾는 데 도움이 되는 전문성과 혁신 전략을 보여줍니다.

혁신 사례 연구

확장 가능성: 액체 냉각 기능이 탑재된 대용량 거래 엔진

2015년은 Digital Realty에 있어 획기적인 해였습니다. 제가 회사에 입사한 첫 해이기도 했습니다. 당시 우리는 알고리즘 고빈도 거래를 전문으로 하는 글로벌 금융 서비스 기업의 기반 구축 프로젝트에 착수했습니다.

이 프로젝트의 가장 중요한 부분은 기존의 공랭식 냉각에서 칩 수준까지 고급 액체 냉각으로 전략적으로 전환하여 HPC 클러스터를 지원하는 것이었습니다. 프로젝트는 성공하였고, 결과적으로 냉각 시스템의 효율성을 향상시켰을 뿐만 아니라 고객이 6MW까지 배포에 따라 고객을 계속 지원할 수 있도록 기술을 확장하였습니다.

차세대 액체 냉각 기술에 투자하기로 결정한 것은 고객의 단기적인 니즈를 넘어 장기적인 확장성과 지속 가능성에 초점을 맞춰 역량을 구축할 수 있다는 것을 알고 있었던 덕분이었습니다.

지속 가능한 성장 지원: 적응형 설계 기능을 갖춘 슈퍼컴퓨팅

최근 우리는 유럽 고객과 협력하여 복잡한 환경에서 랙당 최대 70kW를 포함하는 정교한 슈퍼컴퓨터 환경을 개발했습니다. 고객은 새로운 지속 가능성 규정을 준수하면서 신속하게 배포를 진행해야 했습니다.

새로운 데이터 센터를 짓기 위해 3-5년을 기다릴 수는 없었기 때문에 기존 시설을 개조하는 방향을 택했고, 고객은 예정된 배포를 빠르게 시작하고 실행할 수 있습니다. 뿐 아니라, 2013년에 건설한 에너지 효율적인 시설을 통해 시설 변경을 최소화하면서 고출력 밀도 및 연결성에 대한 까다로운 요구 사항을 충족할 수 있었습니다. 결과적으로 이를 통해 400% 더 빠른 배포가 가능해졌습니다.¹

고객은 액체 냉각으로 전환하여 에너지 효율을 30% 정도 개선할 것으로 예상했습니다^.1 또한, 디지털 리얼티의 대수층 열에너지 저장(ATES) 냉각 시스템과 완전 재생 에너지원을 활용하여 현지 지속가능성 규정에서 정한 CO2 목표를 달성할 수 있었습니다.

이러한 개조 가능한 레트로핏 디자인 개발 능력은 지속 가능하고 시기적절한 성장을 가능하게 하며, 민첩한 디자인을 설계하기 위한 디지털 리얼티의 노력을 보여줍니다. 우리의 설계 원칙은 인프라가 현재의 요구 사항 뿐만 아니라 수십 년 후의 요구 사항도 충족할 수 있도록 하는 것입니다.

민첩성 지원: 유연하고 미래 지향적인 생성형 AI 배포

오늘날 디지털 리얼티는 생성형 AI(Generative AI) 발전에 핵심적인 역할을 하고 있습니다. 30,000개 이상의 최첨단 GPU를 하나의 대규모 플랫폼에 통합하는 고객과 협력하는 중입니다.

고급 컴퓨팅 성능을 사용하려면 배포 시 모든 GPU를 단일 컴퓨팅 클러스터에 연결해야 합니다. 때문에 이를 위해 데이터 센터 플랫폼 제공업체를 빠르게 찾아야 했는데, 특수한 설계 요구 사항 때문에 적합한 업체를 찾기가 매우 까다로웠습니다.

우리의 투자 전략은 미래 수요를 예측하는 것이었으며, 이를 통해 설계가 완료된 Shell-ready 시설과 매치될 수 있었습니다.민첩한 모듈식 설계 접근 방식을 통해 원래 설계의 99%를 유지하면서 복잡한 설계 문제를 해결할 수 있었고, 이는 곧 더 빨리 건축을 시작할 수 있다는 것을 의미했습니다.

결과적으로 애자일 접근 방식을 통해 맞춤형 구축에 통상적으로 필요한 36개월이 아닌, 12개월 만에 배포를 완료할 수 있었습니다.¹ 이렇듯 고객의 요구사항은 빠르게 변화하고 있으며, 이를 충족하기 위한 기술과 솔루션도 빠르게 변화하고 있으므로 민첩성은 혁신을 실현하기 위한 핵심 전략이 되어야 합니다.

이번 사례는 고밀도 워크로드의 대표적인 예시였음에도 불구하고 직접 액체 냉각은 최선의 선택이 아니었습니다. 이는 고밀도 워크로드 냉각에 대한 획일적인 접근 방식이 효과가 없는 이유를 보여주는 좋은 예입니다.

인프라 그 이상: 혁신 문화 조성

이러한 혁신 전략을 실행하기 위한 또 다른 핵심 요소는 바로 팀원들입니다. 우리의 성과의 결정적인 요소는 인프라 뿐 아니라 혁신적인 문화와 팀원들이기도 합니다.

디지털 리얼티의 훌륭한 팀은 데이터 센터 공간의 선구자로서 여러 수상 이력과 엔지니어링의 유산을 남겼습니다.

디지털 리얼티의 혁신 문화는 고객과의 협업을 통해 파트너가 디지털 리얼티와 함께 미래에도 성장할 수 있다는 확신을 가질 수 있도록 지원합니다.

미래를 위한 비전

디지털 리얼티의 CTO로서 저의 역할은 고객의 기술적 요구 사항을 이해하고 디지털 리얼티가 현재뿐만 아니라 미래의 요구 사항도 지원할 수 있도록 하는 것입니다.

미래를 바라보면서 우리는 기술 환경에 참여하는데 그치지 않고 새로운 기술을 만들어나가기 위해 최선을 다하고 있습니다. 저희의 미션은 민첩성, 확장성, 지속 가능한 성장을 지원하여 고객의 혁신을 실현하는 것입니다.

지속 가능성은 우리에게 특히 중요합니다. 우리는 고객의 요구에 부응하기 위해 무탄소 및 재생 가능 전력원의 적용 범위를 지속적으로 확대하고 있으며( 1기가와트 이상의 태양광 및 풍력 에너지를 계약으로 보유하고 있음), 데이터 센터의 수명 주기 탄소 발자국을 더욱 줄이기 위해 대체 연료 2차 전력 솔루션을 사용하기 시작했습니다.

우리는 고객의 요구를 충족하는 최고의 기술을 적시에 적용하는 데 집중할 것입니다. 이러한 접근 방식을 통해 디지털 리얼티는 본 아티클에서 강조한 사례 뿐만 아니라 전 세계의 기타 고객 요구 사항을 충족할 수 있었습니다.

우리는 적응력, 혁신 정신, 풍부한 유산을 바탕으로 끊임없이 진화하는 기술 세계에서 독보적이고 영속적인 기업으로 자리매김하고 있습니다.

혁신의 유산을 구축하는 것은 하루 아침에 이루어지지 않지만, 디지털 리얼티는 우리의 가치에 충실하고 고객의 요구에 가장 잘 부응할 수 있는 방법에 집중할 때 항상 올바른 방향으로 나아간다는 것을 배웠습니다.

디지털 리얼티에서 기술의 미래를 계속 정의해 나가는 과정을 함께하세요. 혁신을 유지하고, 디지털 리얼티와 협업하고, 조직을 혁신하는 방식으로 AI와 HPC를 배포해보세요.

AI-ready 데이터 센터 인프라에 대해 자세히 알아보세요.

AI 시대의 데이터 센터 설계: AI와 레거시 인프라의 통합

¹ 이 고객의 예상 결과는 PlatformDIGITAL®에 배포 및 연결되기 전의 기존 인프라와 비교하거나 구매 시점에 사용 가능한 대체 솔루션과 비교한 것입니다.