Kako ova masivna struktura u pustinji oregona održava facebook vođenje

PRINEVIL, Ore. - Postoji mnogo načina da osigurate brz Internet. Možete se preseliti u grad Google Fiber. Možete odabrati jedan od naših najbržih davatelja internetskih usluga. Ili biste mogli graditi kuću pored Facebook centra za podatke.

Uzmimo, primjerice, prvi podatkovni centar Facebooka. Otvoreno je u Prinevilleu, Ore, 2011. godine i poslužilo je kao uzor svakom podatkovnom centru koji je društveni medijski gigant od tada gradio, od Švedske do Iowe. Potroši toliko propusne širine da zahtijeva više davatelja internetskih usluga koji poslužuju to područje da bi ojačao njihove mreže, dovodeći lokalne stanovnike na put.

Možda biste zamislili da će podatkovni centar Prineville, zajedno s ostalim sadržajima Facebooka, biti kolektivno srce najveće svjetske društvene mreže: primaju mnoštvo zahtjeva za fotografije, ažuriranja statusa i vijesti koje osvježavaju 1, 65 milijardi aktivnih korisnika web mjesta i reagirati što je brže moguće, slično kao srce koje crpi kisik u krvotok.

Objekt Prineville bliži se svojoj petoj obljetnici i bavio se zahtjevima za podacima o stvarima za koje Mark Zuckerberg vjerovatno nije imao pojma da će ih Facebook raditi kad je u svojoj sobi u Harvardu osmislio zamisao za tu tvrtku.

Ovog tjedna zaustavio se PCMag radi obilaska.

Prineville, naravno, još uvijek pohranjuje fotografije i ažuriranja statusa, ali sad posjeduje i tisuće Nvidia GPU-ova koji podržavaju Facebookovo istraživanje umjetne inteligencije, kao i 2000 iOS i Android telefona koji rade testove 24 sata dnevno. To pomaže inženjerima tvrtke da povećaju energetsku učinkovitost svojih aplikacija, koje osim Facebooka uključuju i Instagram, Messenger i WhatsApp.

Podaci na Facebooku su "otporni, nisu suvišni"

Prvo što primijetite kod objekta Prineville je njegova velika veličina. Izlazi iz visoke pustinje središnjeg Oregona, tri sata vožnje od Portlanda nije jedna zgrada, već četiri (a to ne uključuje još jedan ogroman podatkovni centar Apple koji je nedavno izgrađen preko puta, prikladno nazvan Connect Way). Jedna od Facebook zgrada može smjestiti dva Walmarta unutra, a dugačka je otprilike 100 stopa duže od nosača aviona klase Nimitz.

Unutar su poslužitelji koji sadrže nekoliko petabajta za pohranu, a koje inženjeri Facebooka stalno nadograđuju zamjenjujući komponente. Od 165 ljudi koji rade u punom radnom vremenu u podatkovnom centru, 30 po zgradi dodijeljeno je samo za servis ili zamjenu napajanja, procesora, memorije i drugih komponenata.

Karakteristika gotovo svake tvrtke koja posluje na Internetu, od Amazona do Charlesa Schwaba, je višak: više poslužitelja koji pohranjuju višestruke kopije podataka. To je manje slučaj u Prinevilleu, gdje je Ken Patchett, Facebook direktor zapadnih podataka, usmjeren na otpornost - grubo definiranu kao sposobnost biti spreman kad god i gdje god u svijetu netko prijavi na Facebook.

Fokusiranje na "otpornost, a ne suvišnost", kako Patchett kaže, moguće je jer Facebook ima luksuz pohranjivanja višestrukih kopija podataka na drugim lokacijama širom svijeta, od Lulea, Švedska, do Altoona, Iowa. Dakle, umjesto da imate dvije ili više svega, može se usredotočiti na stratešku kupovinu opreme na svakoj lokaciji, poput postojanja jednog rezervnog generatora napajanja za svakih šest glavnih generatora.

"Morate biti fiskalno odgovorni ako želite biti otporni", objasnio je Patchett. Jedan je od očeva utemeljitelja visokotehnoloških podatkovnih centara u visokoj pustinji Oregona. Prije nego što je stigao na Facebook, pomogao je pokrenuti podatkovni centar u Dallesu, Ore., Za Google, jednu od prvih internetskih kompanija koja je iskoristila jeftinu hidroelektranu i hladno i suho vrijeme koje karakteriziraju ogromni istočni dio devete najveće američke države država.

Svakako, obilna snaga ključna je za rad Facebooka. Temperatura servera regulirana je kombinacijom rashladnog sredstva za vodu i ogromnih ventilatora koji uvlače suhi pustinjski zrak (dolje) umjesto klimatizacijskih uređaja koji podižu energiju i novac. Raspon ciljne temperature je između 60 i 82 stupnja Farenhajta. Patchettov tim postao je toliko dobar u postizanju tog cilja da se Prineville danas može pohvaliti omjerom snage snage 1, 07, što znači da oprema za hlađenje, svjetla i grijači - sve što nije računalni uređaj - troše samo 7 posto ukupne potrošnje energije u postrojenju,

32 iPhona u kutiji

Većina hlađenja i snage ide u susret zahtjevima poslužitelja, ali neki se preusmjeravaju u relativno malu sobu za testiranje aplikacija s implikacijama za smanjenje upotrebe energije ne samo u Prinevilleu, već i na svakom telefonu s Facebook aplikacijom.

Nije tajna da se Facebook aplikacija borila s upravljanjem energijom. Guardian je ranije ove godine tvrdio da aplikacija smanjuje vijek trajanja baterije za iPhone uređaje za 15 posto. Kako bi pojednostavili aplikaciju i smanjili potrošnju baterije, tvrtka je dovela otprilike 2000 iOS i Android telefona u Prineville, gdje su instalirani unutar kutija u 32 skupine.

Svaka kutija ima svoju Wi-Fi mrežu, zalijepljenu izoliranim zidovima i bakrenom vrpcom, koju inženjeri u sjedištu u Silicijskoj dolini koriste kako bi isporučili bateriju testova. Oni traže "regresiju" u korištenju i performansama baterije uzrokovanim ažuriranjima na Facebook, Instagram, Messenger i WhatsApp aplikacijama. Ako ga pronađu u Facebook-ovom vlastitom kodu, popravljaju ga. Ako je programer uveo neučinkovitost, njihov sustav automatski obaviješta prekršitelja putem e-pošte.

Kutije ne sadrže samo najnovije iPhone 6s ili Galaxy S7. Na strani iOS-a uključuju i mnoge modele s iPhonea 4s i novijih. Na Androidovoj strani, tko zna? Dovoljno je reći da postoji jedan tip čiji je posao pronaći nejasne Android uređaje i dovesti ih u Prineville.

"Moramo preuzeti telefone odasvud", rekao je Antoine Reversat, inženjer koji je pomogao u razvoju testne infrastrukture i softvera. Njegov krajnji cilj je udvostručiti kapacitet stalka za držanje do 62 telefona, i osmisliti način kako 20 koraka ručnog postupka potrebnog za konfiguriranje telefona za testiranje na jedan korak. To bi trebalo utješiti sve one kojima je ikada umro telefon osvježavajući svoje feedove vijesti.

Big Sur: Facebookov AI mozak

Slijedeće naše turneje bili su Big Sur serveri za umjetnu inteligenciju, koji poput kalifornijske obale po kojoj su i dobili ime, vjerojatno čine najistaknutiji dio podatkovnog centra. Ne govorimo, naravno, o pacifičkim pogledima, nego o računalnom ekranu koji je prikazivao grupu slika, a Ian Buck, potpredsjednik Nvidia za ubrzano računarstvo.

"Trenirali smo neuronsku mrežu za prepoznavanje slika", objasnio je Buck. "Nakon otprilike pola sata pregledavanja slika, moći će započeti generirati svoje."

Izloženi su nalikovali francuskom impresionizmu iz 19. stoljeća, ali s preokretom. Ako želite kombinaciju voćnog mrtvaca i riječnog krajolika, Big Sur će ga slikati za vas fleksiranjem njegovih 40 petaflopa procesne snage po poslužitelju. To je jedan od nekoliko AI sustava koji koriste Nvidia GPU - u ovom slučaju Tesla M40 procesore temeljene na PCI.e - za rješavanje složenih problema strojnog učenja. Googleov zdravstveni projekt DeepMind koristi i Nvidijine procesore.

Facebook koristi Big Sur za čitanje priča, prepoznavanje lica na fotografijama, odgovaranje na pitanja o scenama, igranje igara i učenje rutine, između ostalih zadataka. Također je softver s otvorenim izvorom, nudi drugim programerima nacrt načina postavljanja vlastite AI specifične infrastrukture. Hardver uključuje osam Tesla M40 GPU ploča do 33 vata svaki. Sve su komponente lako dostupne u ladici za poslužitelj kako bi se povećala jednostavnost nadogradnje, koje će zasigurno doći nakon što Nvidia izdaje nove PCI.e verzije svojih Teslin GPU-a, uključujući i vodeći P100.

Hladno skladištenje za zaboravljene fotografije

Budući da je Prineville prvi Facebook centar podataka, inženjeri obično testiraju ideje kako bi Facebook-ove poslužitelje učinili učinkovitijima. Jedna od najnovijih ideja je hladnjača ili namjenski poslužitelji koji pohranjuju bilo što na Facebooku koji ne dobivaju puno pregleda - na primjer, fotografije maturskih maturanata ili one desetine ažuriranja statusa koje ste objavili kada je Michael Jackson umro 2009. godine., Tajna uspjeha hladnog skladištenja je više slojeva. Prvu razinu čine korporativni hardver visokih performansi, dok niži slojevi koriste jeftinije komponente, a u nekim slučajevima - možda i za one vaše fotografije s nagradama za koje se nadate da ih nitko neće vidjeti - pričuvne biblioteke vrpci. Krajnji rezultat je da svaki stalak za poslužitelj hladnog prostora može sadržavati 2 petabajta za pohranu, ili ekvivalent 4.000 hrpa penija koje dosežu sve do Mjeseca.

Izgradnja za budućnost

Iako je Facebook donio brži Internet i druge koristi Prinevilleu, uključujući više od milijun dolara u donacijama za lokalne škole i dobrotvorne organizacije, njegovo prisustvo nije sporno. Oregon se odriče puno novca u poreznim olakšicama za tvrtku u vrijeme kada lokalno gospodarstvo, još uvijek nahranjeno od balona za 2008. godinu, prati nacionalni prosjek.

Ipak, 1, 65 milijardi ljudi ne bi imalo pristup Facebooku bez ove pustinjske ispostave i njezinih sestrinskih podatkovnih centara. I dok postavlja završne detalje na svojoj četvrtoj zgradi u Prinevilleu, tvrtka već uveliko kreće u pravcu dovršetka petog centra u Teksasu. Ali ako se zbog toga osjećate krivima zbog energije koju vaše pregledavanje na Facebooku troši, to ne bi trebalo. Prema Patchett-u, jedan korisnik koji pregledava Facebook cijelu godinu troši manje energije nego što je potrebno za izradu latte. Drugim riječima, možete se odreći samo jednog putovanja u Starbucks i pomičite se kroz vijesti do sadržaja vašeg srca.