자바에서 데이터를 200개씩 배치 처리하는 방법
데이터를 한꺼번에 처리하는 작업은 개발에서 매우 중요한 주제입니다. 특히 대량의 데이터를 효율적으로 관리하기 위해서는 "배치 처리" 방식을 사용하는 것이 일반적입니다. 이번 포스트에서는 자바(Java)를 활용하여 데이터를 200개씩 처리하는 간단한 방법을 소개하겠습니다.
배치 처리란?
배치 처리(Batch Processing)는 데이터를 한 번에 일정량씩 묶어 처리하는 방식입니다. 이는 대량의 데이터를 다룰 때 성능을 최적화하고, 시스템 리소스를 효과적으로 사용하도록 돕습니다.
예를 들어, 대량의 데이터를 데이터베이스에 저장하거나 외부 API로 전송할 때 한 번에 처리하는 양을 제한함으로써 시스템 과부하를 방지할 수 있습니다.
간단한 예제 코드
import java.util.ArrayList;
import java.util.List;
public class BatchProcessExample {
public static void main(String[] args) {
// 예제 데이터 생성
List dataList = generateData(1000); // 1000개의 데이터 생성
// 200개씩 처리
int batchSize = 200;
List batch = new ArrayList<>();
for (int i = 0; i < dataList.size(); i++) {
batch.add(dataList.get(i));
if ((i + 1) % batchSize == 0 || i == dataList.size() - 1) {
processBatch(batch);
batch.clear(); // 처리 후 배치를 초기화
}
}
}
private static List generateData(int count) {
List dataList = new ArrayList<>();
for (int i = 1; i <= count; i++) {
dataList.add("Data " + i);
}
return dataList;
}
private static void processBatch(List batch) {
// 200개씩 처리되는 배치 데이터를 출력 (또는 파일에 저장 등 다른 작업 수행 가능)
System.out.println("Processing batch of size: " + batch.size());
for (String data : batch) {
System.out.println(data);
}
}
}
코드 설명
- 데이터 생성
generateData 메서드는 샘플 데이터 리스트를 생성합니다. 여기서는 "Data 1", "Data 2"와 같은 형식의 데이터를 1,000개 생성합니다.
- 배치 처리 로직데이터를
batch 리스트에 추가합니다. 200개의 데이터가 쌓일 때마다 processBatch 메서드를 호출하여 데이터를 처리합니다. 마지막 남은 데이터를 처리하기 위해 (i == dataList.size() - 1) 조건을 추가합니다.
- 배치 처리
processBatch 메서드는 배치 데이터를 처리하는 로직입니다. 예제에서는 데이터를 출력하지만, 실제로는 파일 저장, 네트워크 전송 등으로 대체할 수 있습니다.
이 코드를 활용할 수 있는 상황
- 대량의 데이터 파일 저장: 데이터를 파일에 쓰기 전에 200개씩 묶어서 처리할 수 있습니다.
- 외부 API 호출: API 호출 시 대량 데이터를 한꺼번에 보내면 문제가 될 수 있으므로, 200개씩 나눠 전송할 수 있습니다.
- 메모리 최적화: 데이터 처리를 작은 단위로 나눠 메모리 사용량을 줄일 수 있습니다.
마치며
배치 처리는 단순히 데이터를 처리하는 효율적인 방법일 뿐만 아니라, 안정성과 성능을 보장하는 핵심 기술입니다. 위 코드를 필요에 맞게 변형하여 프로젝트에 적용해 보세요.
이제 여러분도 자바에서 데이터를 200개씩 묶어 효율적으로 처리할 수 있습니다!
