Twój bezczynny sprzęt to czyjeś okno inferencyjne

Prawie każda maszyna w prawie każdej organizacji spędza prawie całe życie, robiąc bardzo niewiele. W tym samym czasie ta sama organizacja płaci godzinowo za moc gdzie indziej, bo obciążenie, które jej potrzebowało, przyszło w momencie, gdy lokalny sprzęt był zajęty, albo w formie, której nikt do niego nie podłączył. Płaci się oba koszty. Niczyja to wina — i to właśnie czyni sprawę ciekawą.

Dlaczego wykorzystanie zostaje niskie

Nie z niekompetencji. Ze struktury.

Moc jest wymiarowana pod szczyty. Maszyna dobrana pod najbardziej obciążoną godzinę stoi bezczynnie przez resztę, a alternatywa — brak mocy w szczycie — jest znacznie droższa niż to marnotrawstwo.

Własność jest per zespół. GPU, które stoi bezczynnie, należy do innego budżetu, innego centrum kosztów i często innej domeny bezpieczeństwa niż obciążenie, które mogłoby go użyć. Dzielenie się wymaga rozmowy, na którą nikt nie ma czasu.

Nie ma jednostki wymiany. Nawet gdy jest wola, nie ma mechanizmu mówiącego, ile warta jest godzina cudzego sprzętu, nie ma sposobu na zapisanie, że została użyta, ani sposobu na rozliczenie tego bez wewnętrznej faktury i sporu.

Trzeci punkt jest ciekawym problemem, bo jako jedyny daje się rozwiązać przez zbudowanie czegoś.

Co zmienia grid

Grid to nie planista z lepszymi manierami. To trzy rzeczy, których planista nie ma.

Pomiar. Co zostało użyte, przez kogo, jak długo, o jakiej charakterystyce — zapisane w formie akceptowanej przez obie strony przed rozpoczęciem pracy, a nie odtwarzanej po fakcie.

Cena. Niekoniecznie pieniądze. Chodzi o stawkę, na którą obie strony się zgodziły i którą da się porównać z alternatywami — żeby decyzja o użyciu cudzej mocy była decyzją, a nie przysługą.

Rozliczenie. Zapis powstałego zobowiązania, weryfikowalny przez obie strony bez zaufania którejkolwiek z nich. To ta część pozwala uczestnikom, którzy się nie znają, w ogóle zawrzeć transakcję.

Daj planiście te trzy rzeczy, a bezczynna moc staje się przedmiotem obrotu. Bez nich zostaje bezczynna, niezależnie od tego, jak dobry jest planista.

Które obciążenia naprawdę pasują

Konkret ma tu znaczenie, bo „wykorzystaj zapasową moc” to dokładnie ten rodzaj hasła, które brzmi dobrze i rozczarowuje w praktyce.

Pasują dobrze: inferencja wsadowa, dostrajanie modeli, przebiegi ewaluacyjne, przetwarzanie dokumentów, nocna analityka — wszystko z terminem liczonym w godzinach, a nie milisekundach, i tam, gdzie dane mogą pojechać tam, gdzie jest moc.

Pasują źle: obciążenia interaktywne z budżetem opóźnienia, wszystko wymagające konkretnego sprzętu, którego nie da się zdalnie zweryfikować, i wszystko, czego dane nie mogą opuścić jurysdykcji ani budynku. To ostatnie nie jest ograniczeniem do obejścia — to granica, którą grid musi uszanować, a polityka umieszczania pracy jest miejscem, gdzie się ją egzekwuje.

Duża część pracy SI mieści się w pierwszej kategorii. Ta część jest rynkiem.

Uczciwa przeszkoda

Nie jest techniczna. Polega na tym, że dzielenie się mocą znaczy pozwolenie, żeby czyjaś praca działała na Twoim sprzęcie — a każdy instynkt bezpieczeństwa słusznie protestuje.

Dlatego ciekawą inżynierią w gridzie jest izolacja i atestacja, a nie szeregowanie: udowodnienie, co działało, udowodnienie, że nie mogło zobaczyć niczego innego, i udowodnienie kupującemu, że moc była tym, czym twierdziła. Pomyl to, a żaden projekt rynku nie pomoże, bo nikt rozsądny nie weźmie udziału.

Zrób to dobrze, a z ekonomią trudno dyskutować. Sprzęt już istnieje, jest już opłacony i jest już włączony.