Het trainen van een bescheiden machine-lerend model gebruikt meer koolstof dan het productie- en levensduurgebruik van vijf auto's


De Beste Kwaliteit CBD Olie?

MHBioShop CBD Olie Specialist  


Pour la meilleure qualité d’Huile de CBD Visitez

HuileCBD.be specialist Huile de CBD


In Energie- en Beleidsoverwegingen voor Deep Learning in NLP , onderzoeken drie UMass Amherst-computerwetenschappers het koolstofbudget van modellen voor het trainen van machine-instrumenten voor natuurlijke taalverwerking en komen terug met het cijfer voor de eyepopping-headline van 78,468lbs om een ​​basistraining-en-te doen verfijning operatie.

Dit is ongeveer vijf keer het levensechte, wieg tot het koolstof budget voor een auto, inclusief de fabricage.

Het grootste deel van de koolstof wordt verbruikt in de fine-tuning-fase, wat veel vallen en opstaan ​​met zich meebrengt. Meer complexe modellen, zoals het Transformer-model (gebruikt in de automatische vertaling) gebruiken nog meer koolstof – 626.155 pond.

Tekst- en taalverwerking zijn zeker niet de meest rekenintensieve (en dus koolstofintensieve) vormen van machine learning-modellen – zaken als vision-systemen zijn zelfs nog complexer.

Eén implicatie die de auteurs onderzoeken: de computerintensiteit van het hedendaagse computerleeronderzoek heeft het buiten het bereik van de meeste academische onderzoekers gebracht, waardoor het belangrijkste werk in het veld wordt verplaatst naar particuliere bedrijven waarvan het onderzoek niet noodzakelijk bijdraagt ​​tot onze collectieve kennisopslag.

Bovendien merken de onderzoekers op dat de cijfers alleen als basislijnen moeten worden beschouwd. “Het trainen van een enkel model is de minimale hoeveelheid werk die je kunt doen”, zegt Emma Strubell, een promovendus aan de Universiteit van Massachusetts, Amherst, en de hoofdauteur van het artikel. In de praktijk is het veel waarschijnlijker dat AI-onderzoekers een nieuw model helemaal zelf zouden ontwikkelen of een bestaand model zouden aanpassen aan een nieuwe gegevensverzameling, die beide nog veel meer ronden van training en afstemming kunnen vereisen.

Om een ​​betere grip te krijgen op hoe de volledige ontwikkelingspijplijn eruit zou kunnen zien in termen van carbon footprint, gebruikten Strubell en haar collega’s een model dat ze in een eerdere paper hadden gemaakt als een case study. Ze vonden dat het proces van het bouwen en testen van een laatste paper-waardig model training vereist van 4.789 modellen gedurende een periode van zes maanden. Omgerekend naar CO2-equivalent, het stoot meer dan 78.000 pond uit en is waarschijnlijk representatief voor typisch werk in het veld.

Het belang van deze cijfers is enorm, vooral als we kijken naar de huidige trends in AI-onderzoek. “Over het algemeen veronachtzaamt veel van het nieuwste onderzoek in AI de efficiëntie, omdat zeer grote neurale netwerken nuttig zijn gebleken voor een verscheidenheid aan taken, en bedrijven en instellingen die over overvloedige toegang tot computationele bronnen beschikken, kunnen dit gebruiken om een ​​concurrentievoordeel te behalen. , “Zegt Gómez-Rodríguez. “Dit soort analyse moest worden uitgevoerd om het bewustzijn over de bestede middelen […] te vergroten en een debat op gang te brengen.”

Energie- en beleidsoverwegingen voor diep leren in NLP [Emma Strubell, Ananya Ganesh en Andrew McCallum / 57e jaarvergadering van de Associatie voor Computerlinguïstiek (ACL)]

Het trainen van een enkel AI-model kan evenveel CO2 uitstoten als vijf auto’s in hun leven [Karen Hao / MIT Technology Review]

( via /. )

Lees Meer

Leave a Comment