[Global Technology Briefings]
Thousands of Conductance Levels in Memristors Integrated on CMOS
By Mingyi Rao, NATURE, March 23, 2023
Today, everyone is talking about artificial intelligence and the power of neural networks. They often forget that this software is limited by the hardware on which it runs. And it is hardware which has become “the bottleneck.”
That’s because the demands of the software have outrun the advance of the hardware. Over the past 30 years, the size of the neural networks needed for AI and data science applications has doubled every 3.5 months, on average.
Meanwhile, the hardware capability needed to run them doubled only every 3.5 years. As a result, hardware presents a more and more severe problem for AI.
Governments, industry, and academia are trying to address this hardware challenge worldwide. Some continue to work on hardware solutions with silicon chips, while others are experimenting with new types of materials and devices.
New work from researchers at USC, MIT, and the University of Massachusetts falls into the middle. Their new research just published in Nature, focuses on exploiting and combining the advantages of new materials in conjunction with traditional silicon technology in order to support heavy AI and data science computation.
The new research focuses on the fundamental physics that leads to the drastic increase in memory capacity needed for AI hardware. Experiments at TetraMem, a startup company co-founded by the authors, demonstrates the practicality of using this protocol in integrated chips intended to commercialize AI acceleration technology.
According to the researchers, (at 11 bits) this new memory chip has the highest information density per device among all known types of memory technologies, thus far. And this new chip technology is not just intended for memory, but also for the processor.
Millions of these components, working in parallel in a small chip could rapidly run your AI tasks, while only requiring a small battery to power the device.
The new chips combine silicon with metal oxide memristors in order to create powerful hardware with low-energy intensity. This technology uses the positions of atoms to represent information rather than the number of electrons, which is the current technique involved in computations on chips.
The positions of the atoms offer a compact and stable way to store more information in an analog fashion, rather than in a digital fashion. Moreover, the information can be processed where it is stored instead of being sent to a limited number of dedicated ‘processors.”
This eliminates the so-called ‘von Neumann bottleneck’ existing in current computing systems. As a result, computing for AI becomes “more energy efficient with a higher throughput.”
How does this new chip work and why is it better? Instead of storing memory using electrons, the new technology stores memory using full atoms. When you turn off a computer, the information in memory is usually gone.
But, if you need that memory to run a new computation and your computer needs the same information all over again, you have lost both the time and energy needed to reload it. The new method focuses on activating atoms rather than electrons, and it does not require battery power to maintain stored information.
This is especially relevant for scenarios which happen in AI computation, where a stable memory capable of high information density is crucial. According to the researchers, this new technology may enable powerful AI capability in “edge devices,” such as Google Glasses and Smart Watches, which previously suffered from frequent recharging issues.
Furthermore, by converting chips to rely on atoms as opposed to electrons, chips become smaller. With this new technology, there is more computing capacity at a smaller scale. And this technology, could offer “many more levels of memory to help increase information density.”
To put it in context, right now, ChatGPT is running on a cloud. The new TetraMem innovation, followed by some further development, could put a mini version of ChatGPT in everyone’s personal device. So, it could make such high-powered AI more affordable and accessible for all sorts of applications.
- NATURE, March 23, 2023, “Thousands of conductance levels in memristors integrated on CMOS,” by Mingyi Rao, et al. © 2023 Springer Nature Limited. All rights reserved.
To view or purchase this article, please visit:
[Global Technology Briefings]
인공지능과 신경망의 기반, ‘칩’의 진화
By Mingyi Rao, NATURE, March 23, 2023
오늘날 모든 사람들이 ‘인공지능’과 ‘신경망의 힘’에 대해 이야기하고 있다. 하지만 종종 이 소프트웨어들이 그들이 실행되는 하드웨어에 의해 제한받고 있다는 사실을 아는가. ‘병목 현상’이 바로 하드웨어 부문에서 일어나고 있는 것이다.
병목 현상이 일어나고 있는 이유는 소프트웨어의 요구가 하드웨어의 발전보다 앞서 있기 때문이다. 지난 30년 동안 인공지능과 데이터 과학 애플리케이션에 필요한 신경망의 크기는 3.5개월마다 평균 두 배 증가하였다. 반면 이를 실행하는 데 필요한 하드웨어 기능은 3.5년마다 두 배의 성능 향상이 이뤄졌다. 결과적으로 하드웨어가 인공지능에 점점 더 심각한 문제를 발생시키고 있는 것이다.
전 세계적으로 각 국가 정부, 산업, 학계는 이러한 하드웨어 문제를 해결하기 위한 노력을 기울여오고 있다. 일부는 실리콘 칩을 사용하는 하드웨어 솔루션을 계속 연구하고 있고, 또 다른 일부는 새로운 유형의 재료 및 장치를 실험하고 있다.
서던 캘리포니아 대학교(University of Southern California), 매사추세츠 공과대학교(MIT), 매사추세츠 대학교(University of Massachusetts) 연구자들의 새로운 실험은 현재 중간 수준에 이르고 있는데, ‘네이처(Nature)’에 발표한 이들의 새로운 연구는 육중한 인공지능과 데이터 과학 계산을 지원하기 위해 기존 실리콘 기술과 함께 새로운 재료의 이점을 활용하고 결합하는 데 중점을 두고 있다.
이 새로운 연구는 인공지능 하드웨어에 필요한 메모리 용량의 급격한 증가로 이어지는 근본적인 물리학에 초점을 두고 있다. 연구 논문 저자들이 공동 설립한 스타트업인 테트라멤(TetraMem)의 실험은 인공지능 가속 기술을 상용화하기 위한 통합 칩 내 프로토콜 활용의 실용성을 증명하는 것이다.
연구자들에 따르면, 11비트에서 이 새로운 메모리 칩은 지금까지 알려진 모든 유형의 메모리 기술 중 장치 대비 정보 밀도가 가장 높다. 그리고 이 새로운 칩 기술은 메모리뿐만 아니라 프로세서에도 적용될 수 있다. 작은 칩 내에서 병렬로 작동하는 수백만 개의 구성 요소들이 인공지능 작업을 빠르게 실행할 수 있는데, 이 장치를 가동하는 데 드는 전원은 작은 배터리 하나면 충분하다.
이 새로운 칩은 실리콘과 금속 산화 멤리스터를 결합하는데, 저 에너지(low-energy) 세기를 지닌 강력한 하드웨어를 만들기 위해서다. 이 기술은 전자의 수가 아니라 원자의 위치를 사용하여 정보를 표현하는데, 이는 현재 칩 내 계산 기술이기도 하다.
원자의 위치는 디지털 방식이 아닌 아날로그 방식으로 더 많은 정보를 저장하는 작고 안정적인 방법을 제공한다. 또한 정보는 제한된 수의 전용 '프로세서'로 전송되는 대신 저장된 위치에서 바로 처리될 수 있다. 이는 현재 컴퓨팅 시스템에 존재하는 소위 '폰 노이만 병목 현상'을 제거하는데, 결과적으로 인공지능을 위한 컴퓨팅에 있어 ‘더 높은 처리량 대비 더 효율적인 에너지 소비’를 의미한다.
이 새로운 칩이 그렇다면 어떻게 작동하고 더 효과적인 이유는 무엇일까?
전자를 사용하여 메모리를 저장하는 대신, 이 새로운 기술은 전체 원자를 사용하여 메모리를 저장하는 방식을 쓴다. 일반적으로 컴퓨터를 끄면 메모리 정보가 사라진다. 그러나 새로운 계산을 실행하려면 사라진 메모리가 필요하다. 따라서 컴퓨터가 동일한 정보를 다시 활용하려면 다시 로드하는 데 필요한 시간과 에너지를 필요로 한다. 하지만 이 새로운 기술은 전자가 아닌 원자 활성화에 초점을 맞추고 있어 저장된 정보를 유지하기 위한 배터리 전원을 필요로 하지 않는다.
이는 특히 높은 정보 밀도가 가능한 안정적 메모리가 중요한 인공지능 계산에서 발생하는 시나리오와 관련이 있다. 연구자들에 따르면 이 새로운 기술은 이전에 잦은 충전 문제로 어려움을 겪었던 구글 글래스, 스마트 워치와 같은 최신 장비에 강력한 인공지능 기능을 가능하게 할 수 있다.
또한 전자가 아닌 원자에 의존하도록 칩을 변환함으로써 칩은 더 작아진다. 이 새로운 기술을 사용하면 더 작은 사이즈로 더 많은 컴퓨팅 용량을 사용할 수 있는 것이다. 또한 이 새로운 기술은 ‘정보 밀도를 높이는 데 도움이 되는 더 많은 수준의 메모리’를 제공할 수 있다.
현재 챗GTP는 클라우드에서 실행되고 있다. 하지만 이 새로운 기술을 활용하면, 챗GPT의 미니 버전을 모든 사람의 개인 장치에 넣을 수 있다. 이로 인해 고성능 인공지능을 모든 종류의 응용 프로그램에서 더 저렴하게 접근할 수 있도록 만들 수 있다.
- NATURE, March 23, 2023, “Thousands of conductance levels in memristors integrated on CMOS,” by Mingyi Rao, et al. © 2023 Springer Nature Limited. All rights reserved.
To view or purchase this article, please visit:
