W ciągu ostatniej dekady zarządzanie kosztami chmury znacznie się rozwinęło. Fundacja FinOps ujednoliciła zasady odpowiedzialności finansowej za infrastrukturę chmury i pomogła organizacjom poprawić przejrzystość kosztów chmury, prognozowanie oraz alokację kosztów wśród głównych dostawców usług chmurowych.
Jednocześnie organizacja DAMA International, poprzez DAMA-DMBOK®, doprecyzowała modele odpowiedzialności, zarządzania i nadzoru w zakresie zarządzania danymi, wzmacniając dojrzałość DataOps oraz dyscyplinę operacyjną.
Jednak gwałtowny rozwój wielkoskalowych platform danych i obciążeń związanych ze sztuczną inteligencją zasadniczo zmienił ekonomię usług chmurowych. Dzisiejszym wyzwaniem nie jest to, czy FinOps czy DataOps były skuteczne, ponieważ tak właśnie było. Problem polega na tym, że obciążenia związane z danymi i sztuczną inteligencją wprowadziły nowe czynniki generujące koszty, do zarządzania którymi żadna z tych dyscyplin, rozpatrywana osobno, nie została zaprojektowana.
Nie jest to krytyka. To naturalna ewolucja. FinOps nadał strukturę wydatkom na chmurę na poziomie infrastruktury. DataOps poprawiło szybkość dostarczania, jakość i zarządzanie.
Jednak nowoczesne platformy danych i systemy sztucznej inteligencji wymagają bardziej zintegrowanego podejścia do skutecznego zarządzania kosztami chmury.
Ograniczenia tradycyjnego podejścia FinOps w ramach współczesnej strategii zarządzania kosztami w chmurze
FinOps przyniósł znaczną wartość dzięki poprawie kontroli kosztów chmury oraz umożliwieniu organizacjom lepszego zarządzania kosztami chmury na poziomie infrastruktury.
Rozwiązanie to wyróżnia się w następujących obszarach:
- alokacji kosztów poprzez model tagowania oraz modele showback/chargeback
- Kontrola budżetu i prognozowanie
- Dostosowywanie mocy obliczeniowej i pamięci masowej
- Optymizacji zarezerwowanej pojemności
- Eliminacja nieaktywnych lub niedostatecznie wykorzystywanych zasobów chmury
Te możliwości, często wspierane przez specjalistyczne narzędzia do zarządzania kosztami chmury, zmieniły podejście organizacji do optymalizacji kosztów chmury.
Jednak tradycyjne struktury FinOps w dużej mierze nadal koncentrują się na infrastrukturze. Skupiają się one na instancjach, woluminach pamięci masowej, ruchu wychodzącym z sieci oraz planowaniu zarezerwowanej pojemności. Chociaż te mechanizmy kontroli poprawiają wydajność infrastruktury, często reagują one dopiero na sygnały dotyczące wydatków i są oderwane od rzeczywistego sposobu, w jaki nowoczesne obciążenia danych generują koszty.
Kiedy kluczowe pytanie zmienia się z „Która maszyna wirtualna jest uruchomiona?” na „Które zapytanie, transformacja, potok lub model spowodowały ten skok kosztów?”, sama optymalizacja na poziomie infrastruktury staje się niewystarczająca. W środowiskach opartych na danych o wydatkach decydują wzorce użytkowania chmury – a nie tylko czas działania zasobów.
Oszczędność 50% kosztów związanych z chmurą ponoszonych przez klienta
Zobacz, jak to zrobiliśmy.
Jak platformy danych zmieniły model kosztów chmury obliczeniowej
Platformy danych oparte na zużyciu zasadniczo zmieniły model ekonomiczny chmury. Rozwiązania takie jak Snowflake, Google BigQuery, Databricks i Amazon Redshift wprowadziły struktury cenowe, w których koszt zależy od zachowania obciążenia, a nie od czasu działania instancji.
W tych środowiskach na koszty wpływają:
- projekt zapytań i częstotliwość ich wykonywania
- Duplikacja danych w różnych środowiskach
- nieefektywna logika transformacji
- Niewłaściwe zasady dotyczące cyklu życia i przechowywania danych
- Niekontrolowana współbieżność i koordynacja potoków
Oznaczenie magazynu danych nie koryguje nieefektywnego zapytania transformacyjnego, podobnie jak dostosowanie wielkości klastra nie zapobiega nadmiernym skanom całych tabel. W tym przypadku koszt zależy od obciążenia, a nie od instancji. Bez szczegółowej widoczności kosztów chmury na poziomie zapytań, potoków i produktów danych organizacje nie są w stanie w znaczący sposób kontrolować ani prognozować wydatków na chmurę.
Oznacza to fundamentalną zmianę: optymalizacja kosztów chmury musi wykraczać poza telemetrię infrastruktury i obejmować zachowanie obciążeń oraz projekt architektoniczny.
Dowiedz się więcej o zarządzaniu finansami w chmurze:
Obciążenia związane ze sztuczną inteligencją a wzrost nieprzewidywalnych kosztów obliczeniowych
Obciążenia związane ze sztuczną inteligencją znacznie zwiększają złożoność finansową współczesnych rozwiązań chmurowych, zwłaszcza w wysoce dynamicznych środowiskach chmurowych, gdzie skalowanie jest zautomatyzowane, a eksperymenty prowadzone są w sposób ciągły. Trening i dostrajanie modeli często wymagają gwałtownego wzrostu zużycia mocy obliczeniowej procesorów graficznych (GPU), co wiąże się z uruchamianiem kosztownych zasobów na krótkie, intensywne cykle.
Jednocześnie fazy eksperymentowania wielokrotnie zwiększają zużycie mocy obliczeniowej, zanim osiągnięta zostanie jakakolwiek namacalna wartość biznesowa, co utrudnia prognozowanie na wczesnym etapie zarówno zespołom inżynierów, jak i jednostkom biznesowym skupionym na oszczędnościach.
Wnioskowanie w czasie rzeczywistym dodatkowo potęguje to wyzwanie, wprowadzając dynamiczne wzorce skalowania, które mogą radykalnie zwiększyć wykorzystanie chmury w okresach szczytowego zapotrzebowania lub nieoczekiwanych skoków ruchu.
Ponadto usługi oparte na dużych modelach językowych zazwyczaj opierają się na modelach cenowych opartych na tokenach, w których koszt rośnie proporcjonalnie do wolumenu interakcji. Sprawia to, że wydatki są bardzo wrażliwe na zachowania użytkowników, wskaźniki adopcji produktu oraz wzorce integracji – zmienne, które trudno przewidzieć na początkowym etapie wdrażania.
Takie cechy powodują zmienność kosztów, do której tradycyjne narzędzia do zarządzania kosztami chmury nie zostały zaprojektowane, ponieważ zazwyczaj skupiają się one na wykorzystaniu infrastruktury, a nie na ekonomice na poziomie obciążenia.
Chociaż większość pulpitów nawigacyjnych FinOps zapewnia wskaźniki na poziomie infrastruktury w szerszym środowisku chmury, często brakuje w nich przypisywania kosztów na poziomie modeli, śledzenia eksperymentów, wglądu w zużycie magazynu funkcji oraz ekonomiki jednostek wnioskowania.
W rezultacie organizacje mogą z powodzeniem optymalizować maszyny wirtualne, ale nadal pozostają narażone na niekontrolowane wydatki związane ze sztuczną inteligencją w chmurze. Bez głębszej integracji między zarządzaniem finansami a praktykami inżynierii sztucznej inteligencji nawet dobrze zaplanowane inicjatywy oszczędnościowe mogą nie zająć się prawdziwymi czynnikami generującymi koszty sztucznej inteligencji w chmurze.
Raport rynkowy dotyczący liderów branży technologicznej
72% organizacji nadal przekracza swoje budżety przeznaczone na chmurę, a przyczyna tego zjawiska ma charakter strukturalny. Niniejszy materiał zapewnia kadrze kierowniczej wspólny język oraz plan działania oparty na 7 zasadach, który należy wdrożyć w ciągu 90 dni.
Dlaczego optymalizacja kosztów chmury nie jest równoznaczna z zarządzaniem kosztami danych?
Ograniczenie liczby bezczynnych maszyn wirtualnych to nie to samo, co kontrolowanie rosnących kosztów zapytań czy nieefektywnych potoków uczenia maszynowego. Optymalizacja infrastruktury odpowiada na pytanie: „Czy płacimy za niewykorzystane zasoby?”.
Zarządzanie danymi i sztuczną inteligencją musi odpowiedzieć na pytanie o charakterze bardziej strategicznym: „Czy projektujemy obciążenia w sposób wydajny i zrównoważony?”.
Prawdziwe zarządzanie obejmuje zatem:
- Standardy modelowania danych
- Strategie warstwowania pamięci masowej
- Polityki przechowywania i archiwizacji
- Projektowanie koordynacji potoków danych
- Kontrole eksperymentów z wykorzystaniem sztucznej inteligencji
- Ekonomika wdrażania modeli
Bez uwzględnienia świadomości kosztów w decyzjach dotyczących architektury i inżynierii organizacje pozostają reaktywne. Mogą one wprawdzie poprawić krótkoterminowe ograniczanie kosztów chmury, ale nie są w stanie zająć się strukturalnymi czynnikami wpływającymi na długoterminową optymalizację tych kosztów.
Problem własności w środowiskach związanych z danymi i sztuczną inteligencją
Współczesne ekosystemy danych z natury rzeczy opierają się na współdzieleniu zasobów. Wykorzystują one wspólne hurtownie danych, wspólne magazyny cech, wspólne klastry eksperymentalne oraz wspólne punkty końcowe wnioskowania. Chociaż przyspiesza to tempo innowacji, często zaciera to podział odpowiedzialności.
Kiedy źle zoptymalizowane zapytanie transformacyjne powoduje wzrost kosztów, kto ponosi za to odpowiedzialność? Kiedy ruch związany z wnioskowaniem nieoczekiwanie wzrasta, który zespół jest odpowiedzialny za wynikający z tego wzrost wydatków na chmurę?
DAMA-DMBOK® jasno stwierdza, że nieokreślona odpowiedzialność świadczy o niedojrzałości zarządzania. Jeśli odpowiedzialność za koszty na platformach danych jest niejasna, oznacza to niewystarczającą dojrzałość DataOps.
Przejrzystość finansowa bez przypisania odpowiedzialności powoduje zamieszanie; przypisanie odpowiedzialności bez wglądu w finanse powoduje powstanie martwych punktów. Aby skutecznie zarządzać kosztami chmury, oba te elementy muszą się zazębiać.
Od FinOps do FinDataOps: rozszerzenie odpowiedzialności finansowej na obszar danych i sztucznej inteligencji
Kolejnym krokiem nie jest zastąpienie FinOps, lecz jego rozszerzenie.
FinOps zapewnił dyscyplinę finansową w zakresie infrastruktury u różnych dostawców usług w chmurze. DataOps wprowadził dyscyplinę operacyjną w zakresie dostarczania danych. Dane i sztuczna inteligencja wymagają obecnie zarządzania kosztami wbudowanego bezpośrednio w:
- potoki danych
- Projektowanie zapytań
- Zarządzanie cyklem życia modeli
- Proces podejmowania decyzji architektonicznych
FinDataOps odzwierciedla tę ewolucję: jest to holistyczny model operacyjny, który integruje zasady FinOps z praktykami DataOps i MLOps, wprowadzając odpowiedzialność i zabezpieczenia do platform danych i systemów sztucznej inteligencji.
Wykracza on poza reaktywne raportowanie w kierunku zarządzania na etapie projektowania, zapewniając, że zarządzanie kosztami chmury staje się częścią inżynierii i rozwoju produktu, a nie retrospektywnym działaniem finansowym.
Wgląd w dane finansowe musi wpływać na sposób budowania systemów, a nie tylko na sposób analizy faktur.
Jak stworzyć przewidywalne modele kosztów związanych z danymi i sztuczną inteligencją?
Przewidywalność w usługach chmurowych wymaga strukturalnej integracji między zespołami finansowymi, inżynieryjnymi i produktowymi.
Kluczowe czynniki sprzyjające temu to:
- Ekonomika jednostkowa jako podstawa
Należy określić koszt na produkt danych, na klasę zapytań, na potok danych, na wnioskowanie modelowe oraz na cykl eksperymentalny. Pozwala to zidentyfikować mierzalne czynniki wpływające na wykorzystanie chmury i dostosować koszty do tworzenia wartości.
- Atrybucja i metadane jako warunki wstępne
Sygnały kosztowe na poziomie obciążenia muszą być powiązane z odpowiedzialnymi właścicielami i produktami, co zapewnia praktyczną widoczność kosztów chmury.
- Modele rozliczeń wewnętrznych i raportowania kosztów na platformie
Zużycie musi być przypisane do domen lub zespołów, co wzmacnia odpowiedzialność i wspiera zdyscyplinowane ograniczanie kosztów chmury.
- Wbudowane zabezpieczenia
Zasady architektury uwzględniającej koszty, wbudowane w potoki CI/CD, infrastrukturę jako kod, standardy modelowania danych oraz procesy wdrażania sztucznej inteligencji, zapewniają proaktywną optymalizację kosztów chmury.
Jeśli organizacje skupiają się wyłącznie na czynnikach związanych z infrastrukturą, pomijają prawdziwe czynniki generujące wydatki: zachowanie obciążeń, w tym zapytania, potoki i wzorce wnioskowania. Modelowanie tych czynników i wbudowanie zabezpieczeń ma zasadnicze znaczenie dla zrównoważonego zarządzania kosztami chmury.
Wniosek strategiczny: Aby były skuteczne, DataOps i FinOps muszą iść w parze
FinOps pozostaje niezbędny, podobnie jak DataOps. Jednak w świecie, w którym przewaga konkurencyjna w coraz większym stopniu wynika z produktów opartych na danych i systemów sztucznej inteligencji, żadne z tych rozwiązań nie jest wystarczające samo w sobie.
Organizacje, które odniosą sukces, nie będą jedynie optymalizować infrastruktury za pomocą narzędzi do zarządzania kosztami chmury. Zintegrują one odpowiedzialność finansową z inżynierią danych, będą projektować produkty AI z uwzględnieniem kosztów, ustalą jasną odpowiedzialność za obciążenia oraz uwzględnią zasady zarządzania w decyzjach dotyczących architektury.
Zbudują przewidywalne, zorientowane na koszty ekosystemy danych i sztucznej inteligencji, wspierane przez dojrzałą widoczność kosztów chmury oraz proaktywne praktyki optymalizacji tych kosztów.
Ta rozszerzona dyscyplina – FinDataOps – stanowi ewolucję skutecznego zarządzania kosztami chmury w erze danych i sztucznej inteligencji. Gwarantuje ona, że dyscyplina finansowa przenosi się na wcześniejsze etapy procesu – projektowanie, wdrażanie i strategię produktową – umożliwiając zrównoważoną innowacyjność zamiast reaktywnej kontroli kosztów.
FinOps zapoczątkowało tę podróż.
FinDataOps ją dopełnia.
Dowiedz się, co wpływa na koszty związane z danymi i sztuczną inteligencją oraz od czego warto zacząć wprowadzanie zmian.
Uzyskaj jasny, poparty danymi obraz możliwości optymalizacji w całej platformie.
