Methods to Improve Accuracy of 3D NAND Flash Memory-Based In-Memory Computing

Abstract

As deep learning is utilized in various fields, new hardware that can efficiently process large-scale matrix operations for deep learning operations is required. In-memory computing is a computer architecture for efficient matrix operation that gives computation capability to a memory device. The energy and time consumed for the data movement between a memory device and a computation unit is not required in this architecture. Moreover, by processing large-scale matrix operations in parallel in an analog manner, energy and time consumed in the matrix operation are reduced.

Compared to other memory devices, 3D NAND flash memory has a very large storage capacity and does not lose stored data when the power is off. Therefore it can be used as a memory device for in-memory computing to obtain high energy efficiency. However, the structure in which several memory cells storing different data are connected in series creates a deviation in the read current. This effect, called back-pattern dependency, reduces the accuracy of in-memory computing because computation is based on analog voltage or current values.

Two methods are proposed in this thesis to reduce the back pattern dependency of 3D NAND flash memory to improve the computation accuracy of in-memory computing. The first method is to use a specific number of layers of 3D NAND flash memory to store calibration data. The read current only depends on the data located above the reading cell. Therefore, when data is stored in a single bit, only the number of zeros stored in the upper layer affects the read current. By storing an appropriate number of zeros in the calibration layers, deviation of the read current can be reduced. An optimization algorithm based on the greedy algorithm was proposed to find the appropriate number of zeros. As a result of the algorithm, the normalized analog output value error was reduced from 1.85 bits to 0.94 bits. The second method is to redistribute the stored weight data for the smaller read current error through data exchange between columns. In this method, it is difficult to make an optimization algorithm because the data in a column moves altogether. However, it has potential to create a good initial state for calibration layer method to efficiently use the calibration layers.

다양한 분야에서 딥러닝이 활용되면서 딥러닝 연산에 필요한 대규모의 행렬 연산을 효율적으로 처리할 수 있는 새로운 하드웨어가 요구되고 있다. 인메모리 컴퓨팅은 행렬 연산에 적합한 컴퓨터 구조로 저장장치에 연산기의 기능을 추가하여 저장장치와 연산기 간의 데이터 이동에 소모하던 에너지와 시간을 절감한다. 또한 아날로그 연산 방식으로 대규모의 행렬 연산을 병렬적으로 처리하여 연산 과정에서 소모되는 에너지와 시간 또한 감소한다.

삼차원 낸드 플래시 메모리는 다른 저장장치와 비교하여 매우 큰 저장 용량을 가져 전원을 꺼도 데이터가 사라지지 않기 때문에 인메모리 컴퓨팅의 저장장치로 활용하여 높은 에너지 효율을 얻을 수 있다. 하지만 서로 다른 데이터를 저장한 여러 저장공간이 직렬로 길게 연결 되어있는 구조가 읽기 전류에 편차를 만든다. 백 패턴 종속성으로 불리는 이 효과는 아날로그 전압 혹은 전류 값으로 연산을 하는 인메모리 컴퓨팅의 정확도를 낮춘다.

삼차원 낸드 플래시 메모리의 백패턴 종속성을 해결하기 위해 본 논문에서 두 가지 방법을 제시한다. 첫 번째 방법은 삼차원 낸드 플래시 메모리의 특정 개수의 층을 보정 데이터를 저장하는 층으로 활용하는 것이다. 백패턴 종속성은 데이터를 읽으려 하는 저장공간의 위쪽에 위치한 데이터에 의존한다. 한 개의 비트를 저장하는 경우 위쪽 층에 저장된 0의 개수에만 영향을 받는다. 따라서 적절한 개수의 0을 보정 레이어에 저장하여 읽기 전류의 편차를 줄일 수 있다. 적절한 0의 개수를 찾기 위해 그리디 알고리즘 기반의 최적화 알고리즘이 제안되었다. 그 결과 만들어지는 정규화된 아날로그 출력 값의 오차가 기존의 1.85 비트에서 0.94 비트로 감소하였다. 두번째 방법은 저장공간의 열 간의 데이터 교환을 통해 저장되어 있는 데이터를 읽기 전류의 오차가 작은 쪽으로 재분배 시키는 것이다. 이 방식은 한 열의 데이터가 동시에 이동하기 때문에 최적화 알고리즘을 만들기 까다롭지만 보정 층 방식을 방식에서 보정 층을 효율적으로 사용하기 위한 초기 상태를 만드는 용도로 활용할 수 있다.