<@U0A71G31CDV> Iceberg+Minio에 넣으려고하는데, Starrocks S...
# questions-and-troubleshootings
Sangwon
06/09/2026, 8:08 AM@Rocky Iceberg+Minio에 넣으려고하는데, Starrocks Stream_load를 사용해서 external catalog에 넣을수있어?
r
Rocky
06/09/2026, 8:08 AMStarRocks의 *Stream Load*는 기본적으로 StarRocks의 *Internal Table(내부 테이블)*에 데이터를 적재하기 위한 도구입니다. 현재 버전 기준으로 External Catalog(Iceberg 등)의 외부 테이블에 직접 `STREAM LOAD`를 사용하는 것은 지원되지 않습니다.
대신, MinIO의 Iceberg 테이블에 데이터를 넣으려면 다음과 같은 방법을 사용해야 합니다.
1.
INSERT INTOFILES() Copy code
sql
INSERT INTO iceberg_catalog.db_name.table_name
SELECT * FROM FILES(
"path" = "<s3://bucket/data.parquet>",
"format" = "parquet",
"aws.s3.endpoint" = "<http://minio:9000>",
"aws.s3.access_key" = "admin",
"aws.s3.secret_key" = "password"
); Copy code
sql
INSERT INTO iceberg_catalog.db_name.table_name VALUES (1, 'data');INSERT INTO iceberg_table SELECT * FROM temp_tables
Sangwon
06/09/2026, 8:11 AM@Rocky 그럼 다음으로 Internal Catalog에 데이터를 넣을때 가장 좋은 방법 두 가지 정도를 추천해줘 한번에 30만건의 데이터를 넣을거야
r
Rocky
06/09/2026, 8:11 AMStarRocks의 *Internal Catalog(내부 테이블)*에 30만 건 정도의 데이터를 한 번에 넣을 때 가장 효율적이고 권장되는 방법 2가지는 다음과 같습니다.
StarRocks는 OLAP 엔진이므로 "한 번에(Batch)" 넣는 것이 성능과 시스템 안정성 면에서 가장 중요합니다. 30만 건 정도는 StarRocks에게 매우 가벼운 수준이며, 아래 방법으로 수 초 내에 처리가 가능합니다.
──────────
1. Stream Load (가장 빠름, 로컬/애플리케이션 데이터용)
데이터가 현재 로컬 파일(CSV, JSON, Parquet 등)로 있거나, 프로그램(Python, Java 등)에서 생성된 데이터라면 *Stream Load*가 가장 좋습니다.
* 특징: HTTP 프로토콜을 사용하며, StarRocks BE에 직접 데이터를 쏴주는 방식입니다. 오버헤드가 가장 적고 빠릅니다.
* 실행 예시 (curl 기준):
Copy code
bash
curl --location-trusted -u <username>:<password> \
-H "label:load_300k_rows" \
-H "format: csv" \
-H "column_separator: ," \
-T data.csv \
http://<fe_host>:<fe_http_port>/api/<db_name>/<table_name>/_stream_load Copy code
sql
INSERT INTO internal_db.target_table
SELECT * FROM FILES(
"path" = "<s3://my-bucket/data/300k_records.parquet>",
"format" = "parquet",
"aws.s3.endpoint" = "<http://minio:9000>",
"aws.s3.access_key" = "admin",
"aws.s3.secret_key" = "password"
);INSERT INTO VALUES (1, ...), (2, ...)s
Sangwon
06/09/2026, 8:13 AM@Rocky 그럼 pandas dataframe을 streamload류 넣를 수잏어??
Spark connector가 공식문서에서 추천이던데 그거보다 나은점이 뭐길래추천하는거야
r
Rocky
06/09/2026, 8:13 AM네, Pandas DataFrame을 Stream Load를 통해 StarRocks에 넣을 수 있습니다. 또한 Spark Connector가 왜 추천되는지, Stream Load와 비교했을 때 어떤 장점이 있는지 설명해 드릴게요.
1. Pandas DataFrame을 Stream Load로 넣는 방법
Pandas에는 전용 "StarRocks 커넥터"가 따로 있는 것은 아니지만, *Stream Load가 HTTP 기반 API*이기 때문에 Python의
requests Copy code
python
import pandas as pd
import requests
from io import BytesIO
df = pd.DataFrame(...) # 30만 건의 데이터
# 1. DataFrame을 CSV 버퍼로 변환
csv_buffer = BytesIO()
df.to_csv(csv_buffer, index=False, header=False)
csv_buffer.seek(0)
# 2. Stream Load 호출
url = "http://<FE_HOST>:<FE_HTTP_PORT>/api/<DB>/<TABLE>/_stream_load"
auth = ("root", "your_password")
headers = {
"label": "label_12345",
"format": "csv",
"column_separator": ","
}
response = requests.put(url, data=csv_buffer, auth=auth, headers=headers)
print(response.json())s
Sangwon
06/09/2026, 8:19 AM@Rocky no vliad Basic Authorization이라는데?
r
Rocky
06/09/2026, 8:19 AMno valid Basic AuthorizationrequestsrequestsAuthorization Copy code
python
import requests
import base64
def starrocks_stream_load(df, host, port, db, table, user, password):
# 1. Basic Auth 헤더 직접 생성
auth_str = f"{user}:{password}"
encoded_auth = base64.b64encode(auth_str.encode()).decode()
url = f"http://{host}:{port}/api/{db}/{table}/_stream_load"
headers = {
"Authorization": f"Basic {encoded_auth}",
"Expect": "100-continue",
"label": "my_label_12345",
"format": "csv",
"column_separator": ","
}
# 2. 첫 요청: FE에 전송 (리다이렉트 자동 방지)
# 30만 건 정도면 CSV 스트링으로 변환해서 보냅니다.
csv_data = df.to_csv(index=False, header=False)
# allow_redirects=True로 하면 헤더가 증발하므로 주의
# 가장 확실한 방법은 리다이렉트 응답을 받아서 직접 BE로 쏘는 것입니다.
res = requests.put(url, data=csv_data, headers=headers, allow_redirects=True)
# 만약 위 코드로도 안 된다면, 아래처럼 Session을 커스텀하거나
# 혹은 직접 BE 노드 IP/Port(8040)로 바로 쏘는 방법이 있습니다.
return res.json()2 Views