Sunday, April 09, 2017

Google's TPU Chip Helped It Avoid Building Dozens of New Data Centers (English)

Google operates what is surely the largest computer network on Earth, a system that comprises custom-built, warehouse-sized data centers spanning 15 locations in four continents. But about six years ago, as the company embraced a new form of voice recognition on Android phones, its engineers worried that this network wasn’t nearly big enough. If each of the world’s Android phones used the new Google voice search for just three minutes a day, these engineers realized, the company would need twice as many data centers.

At that time, Google was just beginning to drive its voice recognition services with deep neural networks, complex mathematical systems that can learn particular tasks by analyzing vast amounts of data. In recent years, this form of machine learning has rapidly reinvented not just voice recognition, but image recognition, machine translation, internet search, and more. In moving to this method, Google saw error rates drop a good 25 percent. But the shift required a lot of extra horsepower.

Rather than double its data center footprint, Google instead built its own computer chip specifically for running deep neural networks, called the Tensor Processing Unit, or TPU. “It makes sense to have a solution there that is much more energy efficient,” says Norm Jouppi, one of the more than 70 engineers who worked on the chip. In fact, the TPU outperforms standard processors by 30 to 80 times in the TOPS/Watt measure, a metric of efficiency.

Ниже есть продолжение.

A Neural Network Niche

Google first revealed this custom processor last May, but gave few details. Now, Jouppi and the rest of his team have a released a paper detailing the project, explaining how the chip operates and the particular problems it solves. Google uses the chip solely for executing neural networks, running them the moment when, say, someone barks a command into their Android phone. It’s not used to train the neural network beforehand. But as Jouppi explains, even that still saves the company quite a bit. It didn’t have to build, say, an extra 15 data centers.

The chip also represents a much larger shift in the world of computer processors. As Google, Facebook, Microsoft, and other internet giants build more and more services using deep neural networks, they’ve all needed specialized chips both for training and executing these AI models. Most companies train their models using GPUs, chips that were originally designed for rendering graphics for games and other highly visual applications but are also suited to the kind of math at the heart of neural networks. And some, including Microsoft and Baidu, the Chinese internet giant, use alternative chips when executing these models as well, much as Google does with the TPU.

The difference is that Google built its own chip from scratch. As a way of reducing the cost and improving the efficiency of its vast online empire, the company builds much of its own data center hardware, including servers and networking gear. Now, it has pushed this work all the way down to individual processors.

In the process, it has also shifted the larger market for chips. Since Google designs its own, for instance, it’s not buying other processors to accommodate the extra load from neural networks. Google going in-house even for specialized tasks has wide implications; like Facebook, Amazon, and Microsoft, it’s among the biggest chip buyers on Earth. Meanwhile the big chip makers—including, most notably, Intel—are building a new breed of processor in an effort to move the market back in their direction.

Focused But Versatile

Jouppi joined Google in late 2013 to work on what became the TPU, after serving as a hardware researcher at places like HP and DEC, a kind of breeding ground for many of Google’s top hardware designers. He says the company considered moving its neural networks onto FPGAs, the kind of programmable chip that Microsoft uses. That route wouldn’t have taken as long, and the adaptability of FPGAs means the company could reprogram the chips for other tasks as needed. But tests indicated that these chips wouldn’t provide the necessary speed boost. “There’s a lot overhead with programmable chips,” he explains. “Our analysis showed that an FPGA wouldn’t be any faster than a GPU.”

In the end, the team settled on an ASIC, a chip built from the ground up for a particular task. According to Jouppi, because Google designed the chip specifically for neural nets, it can run them 15 to 30 times faster than general purpose chips built with similar manufacturing techniques. That said, the chip is suited to any breed of neural network—at least as they exist today—including everything from the convolutional neural networks used in image recognition to the long-short-term-memory network used to recognize voice commands. “It’s not wired to one model,” he says.

Google has used the TPU for a good two years, applying it to everything from image recognition to machine translation to AlphaGo, the machine that cracked the ancient game of Go last spring. Not bad—especially considering all the data construction it helped avoid in the process.

В Египте еще один взрыв у христианского собора - в главном портовом городе Александрия

По меньшей мере восемь человек погибли и более 20 получили ранения, когда террорист-смертник привел в действие взрывное устройства в соборе Святого Марка в Александрии.

Теракт в крупнейшем городе Северного Египта стал вторым за день. Несколькими часами ранее произошел взрыв в церкви Святого Георгия в городе Танта, расположенном в дельте Нила. По последним данным, погибли 30 человек, более 70 пострадали.

...По предварительным данным, в Александрии, как и в Танте, взрыв осуществил смертник...

...Сообщается о восьми погибших, 31 раненом и о том, что взрыв произошел вскоре после того, как собор покинул коптский патриарх...

Ниже есть продолжение.

...9 апреля копты отмечают вербное воскресенье – день торжественного вступления Иисуса Христа в Иерусалим. Предшествующий Пасхе праздник и был выбран для совершения терактов.

Отметим, что и предыдущий теракт против коптов был приурочен к памятной дате – дню рождения пророка Мухаммада. В это день в Каире произошел взрыв в соборе Святого Марка. Он унес жизнь 25 человек.

Теракты против христиан в Египте, в городе Танта, 30 человек погибли

Утром 9 апреля произошел теракт рядом с коптской церковью, расположенной в городе Танта, к северу от Каира – столицы Египта. По меньшей мере 30 человек погибли, более 70 получили ранения.

Согласно поступающей из Египта информации, взрывное устройство было применено против верующих, отмечающих вербное воскресенье – торжественный вход Иисуса Христа в Иерусалим...

...Сработало взрывное устройство, подложенное в церковь Святого Георгия [церковь Мар-Гиргис]...

... Отметим, что 28 апреля должен начаться визит в Египет главы римско-католической церкви Папы Франциска. Он встретится с президентом Абд аль-Фаттахом ас-Сиси и главой коптской церкви Тавадросом.

Католический архиепископ Луксора Эмманиул заявил несколько дней назад, что апостольский визит должен продемонстрировать: египетским христианам ничего не угрожает. Он также отметил, что Папа посетит университет аль-Азхар, самое влиятельное суннитское учебное заведение...

Ниже есть продолжение.

...Десятки людей (не менее 50) получили ранения в результате взрыва возле коптской христианской церкви в городе, расположенного между Каиром и Александрией...

...Копты составляют около 10% от населения Египта. После прихода к власти исламистов по стране прокатилась волна антихристианских погромов. Руководство страны не предпринимало мер по борьбе с вандалами.

При президенте ас-Сиси ситуация значительно улучшилась. Однако в декабре 2016 года "Исламское государство" совершило теракт в каирском соборе Святого Марка – главном храме коптов-христиан. Погибли 25 человек, более 30 пострадали.

Пресс-секретарь коптской православной церкви Булис Халим рассказал, что взрыв прогремел во время, когда в соборе проводилась воскресная служба. Основной ущерб нанесен примыкающей к храму древней церкви.

По словам свидетелей, сумку с бомбой в церкви оставила террористка, положившая ее около рядов для женщин и детей. МВД Египта передает, что, по всей видимости, бомба была приведена в действие с помощью дистанционного управления.

Президент Египта Абд аль-Фаттах ас-Сиси выразил соболезнования коптскому патриарху папе Тавадросу II. С осуждением теракта выступили представители исламского и христианского духовенства Египта. В стране был объявлен трехдневный траур.

Премьер-министр Израиля Биньямин Нетаниягу, лидер оппозиции Ицхак Герцог и другие израильские политики выразили соболезнования семья погибших в результате терактов и призвали власти Египта к совместной борьбе с террором...