Tesla создала новый формат обучения для своего суперкомпьютера
В течение нескольких лет Tesla рассказывала о разработке собственного суперкомпьютера, оптимизированного под обучение нейросетей по видео, которое поступает с камер свыше миллиона ее электромобилей. Компанию не устраивали имеющиеся варианты железа, и было принято решение собрать все необходимое своими силами. По словам Илона Маска, публикация так называемой белой книги — гораздо более важное событие, чем может показаться на первый взгляд. Прорыв в обучении автопилота, на который сильно рассчитывает Маск, может в короткие сроки привести к удвоению стоимости Tesla.
Разработка суперкомпьютера Dojo ведется в Tesla последние два года. В прошлом году Маск объявил, что это будет первый в мире суперкомпьютер специального назначения для обучения искусственного интеллекта на основе компьютерного зрения, а мощность его процессора составит, как стало известно в июне, 1,8 эксафлопс. Это пятая по быстродействию машина в мире.
Теперь автопроизводитель описал новый стандарт компьютерной платформы в опубликованном только что документе, сообщает Electrek.
«Этот стандарт описывает арифметические форматы и методы новой 8- и 16-разрядной бинарной арифметики с плавающей точкой в среде компьютерного программирования для глубокого обучения нейронных сетей. Также он определяет особые условия для исключений и их флаги состояний. Внедрение системы с плавающей точкой, согласованной с этим стандартом, может быть реализовано исключительно в программном обеспечении, в аппаратном обеспечении или в любом сочетании программного и аппаратного обеспечения», — говорится в белой книге.
Другими словами, Tesla разработала новый формат программирования для глубокого обучения CFloat8, оптимизированный под платформу суперкомпьютера Dojo. И похоже, что руководство Tesla рассчитывает привлечь к его использованию другие компании, также заинтересованные в системах автономного управления транспортом.
Маск неоднократно говорил, что будущий Tesla Dojo выйдет за рамки обучения автопилота и может быть использован в других отраслях. Пока мощности Dojo работают только на благо Tesla. И если Маску удастся совершить прорыв в обучении автопилота (пока он не достиг даже 4 уровня автономности), то это поможет в короткие сроки удвоить стоимость компании, только что перешагнувшей отметку в 1 трлн долларов.
Суперкомпьютер представляет собой кластер из 720 узлов 8x A100 в версии на 80 Гб — всего в компьютере установлено 5760 графических процессоров. Объем горячего хранилища NVME составляет 10 Пбайт при скорости обработки входных данных 1,6 Тбит/с. Общая коммутационная мощность компьютера — около 640 Тбит/с.
В собственный суперкомпьютер вкладывает и Canon. Машина поможет японской компании создавать новые продукты без прототипирования. Представители Fujitsu заявили, что суперкомпьютер достигнет теоретической вычислительной производительности 648,8 терафлопс.