⚠
✨
배지 컬렉션
/
다음 레벨까지 · 순위 #
🎉 배지 달성!
팀이 함께 콘텐츠를 검수해 정확도를 끌어올립니다. 내 검수가 점수가 되고 캐릭터가 성장해요. 계정으로 로그인하면 어느 기기에서나 이어집니다.
로컬 모드입니다 · 로그인 없이 닉네임과 캐릭터만 정하면 바로 시작해요. 내 검수가 점수가 되고 캐릭터가 성장합니다.
계정
팀 참가
검수자
프로필
팀 퀘스트
팀 평균 진척
마감까지
팀 퀘스트
완료
새 퀘스트 대기 중
STEP 1콘텐츠 추가
추가 용도
- 자동 인입은 운영(팀) 관리자 전용입니다
- 로컬 단독 실행에서는 수동 추출을 사용하세요
- 콘텐츠를 자동으로 추가하는 수집 소스를 설정합니다
- 등록·활성화한 소스로 들어온 콘텐츠가 자동으로 추가되어 초안이 생성됩니다
- 일회성 처리는 수동 추가를 사용하세요
일회성 가져오기
- 크롤러 엔드포인트에서 수량 목표로 당겨와 추출 → 전건을 팀 검수 대기에 적재합니다
- 실시간 스트리밍 부담 없이 배치로 처리합니다
인입 소스 추가
등록된 인입 소스
- 활성 소스는 폴링(초) 주기마다 백그라운드로 자동 인입되고, 실행 큐에 진행률이 표시됩니다.
- 즉시 한 번만 받으려면 지금 인입, 멈추려면 중지.
아직 등록된 소스가 없습니다 위에서 API · Kafka 소스를 추가하세요
콘텐츠 추가
- 콘텐츠 정보(그룹·제목·본문)와 이미지를 함께 넣고 시각 이해 방식을 고른 뒤 실행하면, 본문과 이미지 신호를 합쳐 리드문·인텐트·엔티티·IAB를 추출합니다
- 이미지 여러 장은 하나의 콘텐츠로 통합합니다
- 결과 확인 후 콘텐츠로 등록하면 검수 대상이 됩니다
mock · 비전 미연결(키 없음)
아이템 메타
리드문
인텐트
—
엔티티
—
카테고리
—
- 영상을 올리면 프레임+오디오를 한 번에 토큰화해 통합 원고를 만들고 리드문·인텐트·엔티티·IAB를 추출합니다
- 결과 확인 후 콘텐츠로 등록하면 검수 대상이 됩니다
- 자막을 붙여넣으면 영상 모델 호출 없이 자막으로 원고를 만듭니다(비용 0)
mock · 라우터 미연결(키 없음)
자막 우선 · 영상 모델 호출 생략
아이템 메타
리드문
인텐트
—
엔티티
—
카테고리
—
- 추가 열 리드문 · 엔티티 · 인텐트 · 콘텐츠 카테고리 · 등급 · 사유(여러 값은 가운뎃점·쉼표·세미콜론·파이프로 구분)
- 인텐트·카테고리는 공통 사전 값만, 등급은 G · R · 빈값만, 사유는 품질 메타 ID
- 사유가 있으면 등급 R 규칙을 어긴 행은 저장하지 않고 사유를 돌려줍니다(최대 200행)
행마다 한 콘텐츠로 일괄 추출합니다 컬럼명이 제목/본문/서비스명과 달라도 자동 추론합니다 (최대 200행)
집계
MOCK
총 건수
유통가능 G
엔티티 수
평균 리드문(자)
유통가능
인텐트 분포 (상위 5)
인텐트 데이터 없음
| 행 | 제목 | 저장하지 않은 이유 |
|---|---|---|
처리 이력
보정
없음
콜별 비용
검증 verdict
없음
비용 · 토큰
지연(ms)
STEP 2모델 실행
- 추가된 콘텐츠(자동·수동 불문)에 모델을 실행해 검수용 초안을 만듭니다(수동 실행)
- 실행 결과는 버전 로 기록됩니다(버전 = 학습 반영 회차 + 1)
사용 모델
- 미실행만 = 추가만 된 콘텐츠(기본) · 전체 재실행 = 기존 초안을 이력에 남기고 덮어씁니다
- 건당 비용 발생 · 진행은 STEP 3 실행 큐
일괄 실행 중
콘텐츠마다 초안을 만들고 있어요 · 진행률은 STEP 3 실행 큐
입력 수집
대상 콘텐츠 선별
이미지 이해
텍스트는 건너뜀
메타 추출
리드문 · 엔티티 · 인텐트 · 카테고리
품질 판정
G / R
완료
- 판정 저장 후에도 조치가 남은 콘텐츠입니다
- 종료에는 현재 기준 재검수와 필요한 서비스 반영 근거가 필요합니다
| 콘텐츠 | 상태 | 담당·기한 | 근거·다음 조치 | |
|---|---|---|---|---|
기한 경과 | ||||
| 해당 조건의 조치 건이 없습니다. | ||||
최종 검수
- 대상은 기초 검수를 거쳤지만 정답으로 확정되지 못한 건(의견 갈림 · 등급 없음 · 분류 없음)과, 인텐트 후보가 전 출처 공통 68개로 바뀌어(2026-09-22) 정답의 인텐트를 다시 확정해야 하는 건(인텐트 재확정)입니다
- 인텐트 재확정은 상세에서 이 인텐트로 재확정(초안 의도 그대로) 또는 고쳐서 재확정(의도를 고친 뒤 저장)으로 끝냅니다
- 확정 전까지 그 정답은 인텐트 측정에서 빠집니다
| 콘텐츠 | 초안 | 기초 의견 | 사유 | 결정 현황 | 결정 |
|---|---|---|---|---|---|
| 원문 소실 | 대기 |
불러오는 중…
미확정 콘텐츠가 없습니다 · 기초 검수에서 의견이 갈리거나 분류가 비면 여기로 올라옵니다
정답 확정
기초 검수 의견 ·
값 없음
추천
사전에 없는 값 · 이 필드는 사전 값만 선택할 수 있어요
등급
노출제한 · 운영자 수동(라벨·학습과 분리)
A/B 선택
비교 결과
요소별 현황
| 항목 | |
|---|---|
| 유통 가능 G | |
| 처리 건수 | ▲ |
| 평균 리드문(자) | |
| 인텐트 상위 | · |
| 카테고리 상위 | · |
| 품질 사유 상위 | · |
모델·버전 결과가 쌓이면 A/B 비교가 표시됩니다 · 콘텐츠 관리 · 모델 실행으로 초안을 만들어 보세요
콘텐츠별 비교
| 등급 | 콘텐츠 | 서비스 | 현재 모델 | 버전 |
|---|---|---|---|---|
데이터가 없습니다 · 콘텐츠 관리에서 콘텐츠를 추가하세요
모델별 콘텐츠 상세 비교
A
초안 없음
vs
B
초안 없음
| 필드 | A | B |
|---|---|---|
| 다름 |
비교할 초안이 하나뿐입니다 · 콘텐츠 관리 · 다른 모델로 재실행으로 다른 모델 초안을 만들어 보세요
- 지금 테스트 대상이 아닌 탐구 요소를 모아둔 공간입니다
- 테스트 대상으로 확정되면 본 메뉴로 승격합니다
- 토픽 스튜디오는 클러스터링 체계(어떤 콘텐츠를 어떻게 묶을지)를 자연어로 정의하고 즉시 실험하는 공간입니다
- 원하는 묶음을 문장으로 설명하면 조건값이 자동으로 채워집니다
- 채워진 조건값은 직접 켜고 끌 수 있습니다
- 토픽을 만들고 활성으로 볼지 정하는 기준은 품질 통과(G) 콘텐츠입니다 · 현재 건이 유통 불가
- 유통 불가 콘텐츠도 조건이 맞으면 편입돼 사안 규모로 보이지만(표의 편입 수) 활성 판정과 대표 콘텐츠에는 들어가지 않습니다
- 어울리지 않는 콘텐츠는 토픽을 열어 개별 제외할 수 있습니다
아직 토픽을 만들 결과가 없습니다 실행 · 추출에서 여러 건(엑셀 일괄)을 추출하세요
토픽 생성하기
수정 중
무엇을 묶을까요?문장으로 말하면 조건과 지금 데이터의 매칭 결과가 바로 나옵니다. 마음에 안 들면 말을 보태거나 칩을 빼세요.
예시
말할 수 있는 조건
- 분야
- 스포츠 · 경제 · 범죄 관련
- 의도
- 분석 위주 · 속보만 · 후기 · 심층
- 엔티티
- 손흥민 · 삼성전자사전에 있는 이름만
- 출처
- 카카오TV만 · 브런치는 빼고데이터에 있는 서비스 · 매체만
- 기간
- 최근 2주 · 오늘 올라온 · 이번 달
- 형식
- 영상만 · 쇼츠 빼고 · 글만 · 라이브 제외
- 첨부
- 사진 있는 것만 · 영상 딸린
- 길이
- 긴 글만 · 짧은 글 제외긴 글 = 1,500자 이상
- 표시
- 단독만 · 주요 뉴스 · 기획 기사 · 중복 빼고 · 후속 있는
- 매체 등급
- 우수 매체만 · 블랙 제외
- 열독률
- 많이 읽힌
- 제외
- …는 빼고 · 제외 · 말고같은 축에선 제외가 이깁니다
사전에 없는 값은 만들지 않습니다. 광고 · 성인 · 선정 · 삭제는 늘 빠지고 "광고 포함해도 돼"로 풉니다. 데이터에 없는 필드는 "필드 없음"으로 알려 줍니다.
나
조건을 찾지 못했어요 · 다른 말로 해 보세요
건
Enter 로 보내기 · 해석은 시스템 설정의 기본 실행 모델
STEP 1✓
이름 짓기이 묶음을 뭐라고 부를까요?
STEP 2✓
말로 설명하기원하는 묶음을 문장으로 · ‘조건값 자동생성’을 누르면 아래 조건이 채워집니다
STEP 3✓
조건 확인·조정필수는 모든 묶음의 뼈대(반드시), 선택은 각각이 관련 묶음이 됩니다 · 칩을 누를수록 후보→선택→필수
✨ 묶음
회색=후보 · 색=선택(관련 묶음) · ★필수=반드시(모든 묶음 공통) · ✖제외=걸리면 탈락(모든 묶음) · ✨=자동 선택 · 칩을 누를수록 후보→선택→필수→제외→후보
카테고리
★필수✖제외✨
데이터에 카테고리가 없습니다
인텐트
★필수✖제외✨
데이터에 인텐트가 없습니다
출처
데이터에 출처가 없습니다
원천 조건
기본 광고 · 성인 · 선정 · 삭제 제외
형식
표시
매체 등급
엔티티 키워드
★필수✖제외✨
엔티티 속성
★필수
엔티티 사전에 속성이 아직 없습니다 · 사전 · 정책의 엔티티 탭에서 색인·보강하세요
STEP 4✓
확인하고 생성이 토픽이 아래 묶음들로 펼쳐집니다 · 저장 후 묶음마다 개별로 드릴다운돼요 · 계산 중…
조건값 없음 = 전체 건이 한 묶음
자동 토픽(엔티티형·사건형)은 추출 결과에서 계속 생성됩니다 · 아래 기준은 묶는 촘촘함을 조절합니다
넓게 묶기
보통
좁게 묶기
1건이라도
2건 이상
3건 이상
내 토픽(수동)
엔티티형(자동)
사건형(자동)
토픽 현황
| 구분 | 토픽 | 구성 | 콘텐츠 | 오늘 | 7일 | 신호 | 관리 | |
|---|---|---|---|---|---|---|---|---|
·
|
조건 재확인 | |||||||
|
조건
필수
제외
변경 기록
개별로 뺀 콘텐츠
최근 샘플 3건
동작
| ||||||||
| 자동 · 엔티티형 일시정지 | ||||||||
| 자동 · 사건형 일시정지 | ||||||||
| 아직 만든 토픽이 없습니다 · 위 토픽 생성하기에서 정의해 저장하세요 | ||||||||
| 자동 생성 토픽 없음 · 데이터가 많을수록 · 자동으로 묶기 기준을 낮추면 더 형성됩니다 | ||||||||
토픽에서 제외한 콘텐츠
| 토픽 | 콘텐츠 | |
|---|---|---|
- 조치 상세에서 원문 근거와 실제 적용 정책 버전을 확인한 합의 기록입니다
- 각 체계의 정책(사전·카테고리·법령)을 직접 수정할 수 있습니다
- 저장 시 즉시 추출에 반영되고 로컬에 영속됩니다
인텐트 · 범용 소비 방식(8)
인텐트 · 범용 형식·전달(8)
인텐트 · 세부 종류·속성
폐기된 분류값 · 재판정 후보
| 폐기 값 | 원문을 다시 보고 고를 값 |
|---|---|
콘텐츠 카테고리 · Tier1 / Tier2
| Tier1 | Tier2 | |
|---|---|---|
항목 없음
|
도메인 그룹
| 그룹 | 포함 Tier1 | |
|---|---|---|
자사 ↔ IAB v3.0 매핑
| 자사 경로 | IAB 공식 | |
|---|---|---|
- 기획서 재편(2026-09-22)으로 품질 메타와 법령(클린) 메타는 후속 기능 메타로 분리됐습니다
- 1차 발행 범위는 아이템 메타 4종(리드문·엔티티·인텐트·카테고리)입니다
- 프리즘에서는 품질 판정을 계속 돌려 검수·평가에 씁니다
- 시스템 설정 › 품질 판정 단계로 끌 수 있고, 끄면 등급이 비어 "판정 없음"으로 집계됩니다(빈 등급은 유통 가능으로 읽지 않습니다)
- 법령 필터는 기본 꺼짐이며 켜도 아이템 메타 추출을 막지 않습니다
품질 메타
| ID | 메타명 · 정의 | 적용 | |
|---|---|---|---|
법령 위반 유형
| 코드 | 유형 | 근거 | |
|---|---|---|---|
- 아이템 메타(리드문·엔티티·인텐트·카테고리·품질·법령)를 만드는 단계별 원천 지시입니다
- 비우고 저장하면 기본값으로 복원됩니다
- 검수 피드백에서 컴파일된 학습 보정(LEARNED)은 별도 블록으로 자동 병기됩니다
- 새 프롬프트 제작·계열별 최적화는 스튜디오 → 빌더에서
학습 보정 병기 중
- 아이템 메타(리드문·엔티티·인텐트·카테고리)의 코어 규칙·예시는 계약(읽기 전용)이고, 수정은 모델별 쿡북 래퍼 단위로만 합니다
- 프롬프트는 학습 반영 회차(버전)마다 보정됩니다
- 현재 프롬프트 버전 · 새 프롬프트 제작은 스튜디오 → 프롬프트(빌더)에서
기준 계약 · 아이템 메타 4호출
학습 보정 반영
- 추출은 독립 4호출입니다: ① 리드문 · ② 엔티티 · ③ 인텐트(사전: 전 출처 공통 68개) · ④ 콘텐츠 카테고리(사전: Tier1/Tier2 + 구분 기준)
- 네 호출은 제목·본문에서 각각 추출하며, 하나가 비거나 실패해도 나머지는 그대로 실행합니다
- 호출 뒤 기계 검증: 사전 불일치 값 드롭 · 전량 드롭 시 1회 재요청 · 엔티티는 개수 상한 없이 대표성 순(복합 명사는 원형 유지)
- 모델 입력은 제목·본문만입니다(서비스명은 수집·저장에만 유지)
- 발행 키(item_unique_key·service_code·cp_type)는 모델에 보내지 않고 발행·라우팅 정보로 함께 저장합니다
모델별 쿡북 래퍼
- 계열별 쿡북 관례(GPT 출력 계약 · Gemini 스키마 재명시 · Claude 배경 제공 · Solar CRITICAL+자가 검증)를 이 래퍼가 담당합니다
- 플레이스홀더 {ROLE} {SCHEMA} {RULES} {EXAMPLES} {SELF_CHECK} {LEARNED} 위치에 계약 요소가 삽입됩니다
- 비우고 저장하면 기본 래퍼로 복원됩니다
최종 프롬프트 미리보기
추론 강도
- 콘텐츠 적재 시 엔티티가 개체 사전에 자동 등재됩니다
- 개체당 고유키 1개, 타입·속성은 등록 시 1회 부여(재판정 없음)
- 타입·속성(성별·국적·직업·소속 등)은 위키데이터로 자동 보강하고, 사람이 직접 수정(확정)할 수 있습니다
- 확정 필드는 재보강이 덮어쓰지 않습니다
- 소속처럼 시간에 따라 바뀌는 속성: 사전 속성은 현재 기준으로 보강되지만, 콘텐츠에 부여하는 개체 소속은 콘텐츠가 다루는 당시 기준입니다
- 예) 기아 타이거즈 시절 활약을 다룬 글이면 선수의 현재 소속과 무관하게 기아 타이거즈
- 속성은 토픽 스튜디오의 엔티티 속성 조건이 됩니다
- 예) 성별=여성 ∧ 직업=스포츠인 → "여성 스포츠인" 토픽
총 개체
타입 부여
보강 대기(보류)
미등재(소스 없음)
소스 매칭
콘텐츠 링크
개체 목록
| 개체 | 타입 | 속성 | 출처 | 콘텐츠 | |
|---|---|---|---|---|---|
| 나무위키 | |||||
| 등재된 개체가 없습니다 · 콘텐츠를 적재하거나 "기존 콘텐츠 색인"을 실행하세요 | |||||
새 글 등록
접수 목록
| 유형 | 제목 · 내용 | 작성자 | 상태 | 답변 | |
|---|---|---|---|---|---|
|
답변 완료 |
답변 대기
|
||||
| 아직 글이 없습니다 · 불편한 점이나 아이디어를 첫 글로 남겨보세요 | |||||
문의
답변
평가 기준
기준 모델
프롬프트 버전
- 평가용 콘텐츠는 콘텐츠 관리 · STEP 1에서 지정합니다
- 검수 목록에서 제외되어 오염 없이 평가에만 쓰입니다
- 평가는 항상 현재 프롬프트 버전으로 실행됩니다
- 버전 간 추이는 학습 반영을 거듭하며 재평가로 비교하세요
평가 실행
오토파일럿 · 자동 개선 루프
- 한 라운드 = 학습 반영(검수 피드백 → 프롬프트 보정) 후 같은 정답셋으로 재평가
- 점수가 나빠지면 그 라운드 보정은 반영하지 않습니다(자동 원복)
- 종료 조건: 목표 달성 · 개선 정체(2라운드 연속 향상 없음) · 최대 라운드 · 수동 중지
- 라운드마다 실모델 호출 비용이 듭니다
평가 모델
목표 일치율
메타 일치율
최대 라운드
모델별 비교
평가 이력
표시할 평가가 없습니다. 실행 탭에서 평가를 시작하세요.
| # | 시각 | 종류 | 모델 | 범위 | 상태 | 일치율 | 작업 |
|---|---|---|---|---|---|---|---|
| 완료 |
프롬프트 기록 없음
|
런 비교: 완주한 런에서 기준(개선 전)을 고른 뒤 다른 런의 비교를 누르세요 · 프롬프트를 고친 전후를 재는 용도입니다
런 비교 ·
| 항목 | 기준 | 대상 | 변화 |
|---|---|---|---|
비교 원칙(Atelier 이식): 대상 런이 기준보다 나쁘면 프롬프트 변경을 채택하지 않습니다 · 개선이면 학습 반영/스튜디오에서 적용하세요
이력에서 상세 보기를 선택하세요.
평가 상세를 불러오는 중…
| 요약 지표 | 추천 합격 최저 비용 |
|---|---|
| 등급 신뢰구간(95%) | |
| 목표 달성 | |
| 호출 | |
| 최종 선정 |
- 표본이 없는 항목은 ·로 표시합니다
- 신뢰구간이 겹치는 결과는 우열 판단을 보류하세요
- 여러 모델을 동시에 실행한 결과입니다
- 호출 자원을 공유하므로 응답 시간이 단독 실행보다 길 수 있습니다
| 영역 | 표본 | 등급 일치율 |
|---|---|---|
루브릭 진단
- 루브릭 실행 시 LLM 호출 비용이 발생합니다
- 채점에 실패했습니다
- 모델 설정을 확인한 뒤 다시 실행하세요
건별 상세
- 위 건수와 점수는 평가 당시 저장된 결과 기준입니다
- 이후 원본에서 복구한 정답은 별도 표시하며, 당시 점수에는 반영하지 않습니다
- 정답이 없거나 재확정이 필요한 항목은 해당 메타 점수에서 제외됩니다
- 등급 일치는 메타의 정확성을 뜻하지 않습니다
| 콘텐츠 | 정답 · 복구 내역 | |
|---|---|---|
|
|
|
|
개선 루프
문제점을 골라 공통 스테이지 프롬프트(사전·정책 › 메타 프롬프트)에 반영하고 다시 비교합니다.
| 영역 | 문제점 | 쿡북 지시(프롬프트에 얹을 문장) | 반영 |
|---|---|---|---|
| 반영됨 | |||
| 눈에 띄는 문제점이 없습니다 · 표본이 3건 미만인 항목은 진단하지 않습니다 | |||
- 반영 뒤 ‘비교 실행’을 다시 눌러 지표가 오르는지 확인합니다
- 지표가 내려가면 사전·정책 › 메타 프롬프트에서 해당 문장을 지웁니다
학습 회차 추이
최근 회차
아직 쌓인 회차 리포트가 없습니다 · 학습 반영(일배치·오토파일럿) 뒤부터 표시됩니다
| 버전 | 일시 | 표본 | 등급 일치율 | 종합 |
|---|---|---|---|---|
종합 = 모델별 비교·오토파일럿과 같은 가중(등급 0.4 · 메타 4항목 각 0.15) · 표본 20건 미만 회차는 회색(참고용)
학습 반영 이력
반영 정답 현재 버전
아직 반영된 버전이 없습니다 · 검수가 쌓이고 학습 반영이 돌면 여기에 기록됩니다
일치율이 낮아진 보정은 채택하지 않습니다(자동 원복)
정답셋 현황
검수 완료
정답 누적
검수로 확정
직접 등록
신규 승격
분류 필요
사람이 고쳐 확정한 메타 정답:
인텐트 건 ·
분류 건 ·
리드문 건 ·
엔티티 건
(모델 비교 메타 F1 분모)
정확 합의·등급·분류까지 끝나 학습 반영만 남았습니다
· 아래 검수 목표 카드의 즉시 반영으로 바로 확정됩니다
의견 갈림 건은 반영을 돌려도 승격되지 않습니다 ·
콘텐츠 검수 → 최종 검수에서 편입·제외를 확정해 주세요
검수 건이 쌓였고 아직 학습 반영 전입니다 · 정답 확정은 학습 반영 때 이뤄집니다(검수 목표 카드의 즉시 반영 또는 목표 일시 도달 시)
분류 필요
| 콘텐츠 | 서비스 |
|---|---|
- 콘텐츠 검수 · 검수 대상 콘텐츠에서 해당 콘텐츠 상세를 열어 분류를 골라 주세요
검수가 쌓이고 학습 반영이 돌면 현황이 표시됩니다(아래 검수 목표 카드의 즉시 반영으로 바로 반영 가능)
검수 활동 추이
검수가 쌓이면 일별 추이가 표시됩니다
검수 목표 / 퀘스트 생성
반영 일시
확정 최소 인원
반복
목표 미설정 · 퀘스트를 생성하세요
- 의견을 모아 지정한 일시(모델 버전 시한)에 한 번에 반영해 결과가 흔들리지 않게 합니다
- 반영 후 목표는 소진되고 새 퀘스트를 생성합니다
- '정확' 합의는 정답셋으로 쌓이고, 바뀐 프롬프트는 정답셋으로 다시 평가합니다
- '즉시 반영'은 목표 일시와 무관하게 지금까지 모인 의견을 바로 반영합니다
최근 학습 반영 결과
최근 반영: 정답 확정
· 신규
· 분류 필요
· 의견 갈림
· 정답 제외
· 정답 일치율
보정 미반영
학습 보정 지시
학습 보정 지시 · 버전 히스토리
버전반영한 날정답 일치율보정 효과확정 정답모델 적용
v현재
·
지시 원본 관리
| 단계 | 모델 | 지시 | |
|---|---|---|---|
| 검수 교정이 쌓이면 지시 원본이 표시됩니다 | |||
끈 지시는 다음 학습 반영(컴파일)부터 제외됩니다 · 원본 기록은 지워지지 않아요
모델 실행 비용
모델별
| 모델 | 비용 | 실행 |
|---|---|---|
콜별
| 콜 | 비용 | 토큰(입·출) | 캐시 · 평균지연 |
|---|---|---|---|
실호출 실행이 생기면 이곳에 비용이 쌓입니다 (mock 실행은 집계하지 않아요)
정답셋 목록
- 정답은 검수 '정확' 합의가 학습 반영 때 누적 승격됩니다
- 평가와 어긋나 오류 의심 · 교정 필요 표시된 항목은 확인 후 제거하세요(정답 오류는 모델 순위를 뒤집습니다)
- 인텐트 후보가 전 출처 공통 68개로 바뀌어(2026-09-22) 기존 정답의 인텐트는 재확정 필요 표시가 붙고 확정 전까지 인텐트 측정에서 빠집니다
- 폐기된 값이 남은 항목은 재판정(폐기값)으로 먼저 보이며, 행의 인텐트 확정으로 새 후보 기준으로 다시 고르면 측정에 포함됩니다
인텐트 확정
| 콘텐츠 | 등급 | 카테고리 | 인텐트 | 버전 | 출처 | |
|---|---|---|---|---|---|---|
| 오류 의심 교정 필요 | 확정 |
학습 데이터 현황
정답셋
클래스 충족
일치도 α
오류 의심
의견 불일치
정답셋 정합성 · 신뢰구간이 겹치는 비교는 판정 보류
집계를 불러오는 중이거나, 관리자 권한이 필요합니다
데이터셋 내보내기
노하우 결속 · 정답셋에 사람 판단 사유(검수 노트·교정 이력)가 연결된 비율 · 결속률이 낮으면 검수 노트 작성을 독려하세요
소요 산정
| 용도 | 기준 | 보유 | 부족 | 근거 |
|---|---|---|---|---|
- 기준치 출처: 클래스당 8(SetFit 2022) · SFT 1k(LIMA 2023) · 운영급 13.5k(Llama Guard 2023) · 선호쌍 33k(InstructGPT 2022 참고 상한) · 평가셋 100(tinyBenchmarks 2024)
클래스 커버리지
| Tier1 | 보유 | 부족 |
|---|---|---|
검수자 신뢰도
| 검수자 | 검수 | 합의 일치 | 골드 | EM 오류율 | 합의 가중치 | 골드 추세(7일) |
|---|---|---|---|---|---|---|
| 검수 데이터가 쌓이면 표시됩니다 | ||||||
가이드 명확화 필요
| 단계 | 모델 | 어떤 점에서 의견이 갈리나 |
|---|---|---|
사전 갭
인텐트
카테고리
정답 오류 후보
| 콘텐츠 | 정답 | 모델 | |
|---|---|---|---|
모델 선택
- 선택한 모델이 초기 판정한 초안만 목록에 표시됩니다(누적 · 모델별 정답셋의 재료)
- 검수 합의는 이 모델의 정답셋으로 쌓입니다
- 버전 간 비교는 결과 비교 탭에서 합니다
검수 대상 콘텐츠
⌨ 단축키
- 현재 초안만 표시 중입니다
| 등급 | 콘텐츠 | 서비스 | 카테고리 | 사유 | 검수 | 담당 |
|---|---|---|---|---|---|---|
| YELLOW 입력 필요 재검토 필요 분류 부족 | · | · | 🔒 담당자 검수 | · 미배정 |
목록을 불러오는 중…
데이터가 없습니다 · 콘텐츠 관리에서 콘텐츠를 추가하세요
JSON 원문 ·
검수 담당자 배정 ·
배정 가능한 검수자가 없습니다(최종검수자 제외) · 팀 관리에서 멤버를 초대하세요
- 배정하면 이 콘텐츠는 담당자에게만 검수 큐에 노출됩니다
- 최소 검수인원 N명이 검수하면 통과로 집계됩니다
- 아무도 선택하지 않고 저장하면 배정이 해제되어 전체 공개(오픈 큐)로 돌아갑니다
팀 관리
- 팀 기능(팀 생성 · 초대 코드 · 멤버 관리)은 팀 모드(공유 서버)에서 동작합니다
- 지금은 로컬 단독 실행이라 팀 없이 개인 검수로 진행됩니다
- 검수·평가·정답셋 등 나머지 기능은 동일하게 사용할 수 있습니다
새 팀 만들기관리자
- 새 팀을 만들면 초대 코드가 발급됩니다
- 팀원은 가입 시 이 코드로 참가합니다(팀 생성은 관리자만)
팀 정보
초대 코드 · 팀원에게 공유하면 같은 팀으로 참가합니다
멤버
멤버가 없습니다
- 🎖 검수 마스터(레벨 10) 멤버에게 관리자 권한을 위임해 정답셋·정책 관리를 함께 맡길 수 있습니다
님 임시 비밀번호
- 이 비밀번호는 지금만 표시됩니다
- 멤버에게 전달하고, 로그인 후 본인이 변경하도록 안내하세요
메뉴 권한생성자 전용
| 메뉴 | 슈퍼관리자 | 관리자 |
|---|---|---|
- 체크 = 해당 역할에게 메뉴 노출(동작 가능) · 해제 = 숨김
- 생성자·운영관리자는 항상 전체 · 시스템 설정은 운영관리자 전용(고정)
멤버 관리는 팀 관리자(생성자·위임)만 가능합니다.
연결 상태
정책 버전
등록표 버전
전환 승인
- 등록표와 승인 근거는 실제 원천·적용 정책을 확인한 파일만 사용하세요
- API 존재와 서비스 수신 완료는 구분합니다
컨플루언스 연동
주기 자동 확인
기록 문서는 '프리즘 자동 기록' 제목 바로 아래 표만 갱신 · 등록표·정책이 바뀌면 재승인 필요
정책 연결
원천 등록표 파일
전환 승인 증빙 파일
실제 원천 이벤트 파일
데이터 관리운영 관리자
- 삭제는 되돌릴 수 없습니다
- 우리 팀 데이터만 영향합니다
- 평가 피드백을 삭제해도 게임 점수·레벨은 자동 보존됩니다(적립 전환)
- 점수를 비우려면 게임 점수 초기화를 쓰세요
- 로컬 적재 데이터 초기화는 이 기기의 SQLite 에만 영향합니다
팀 삭제
팀과 멤버 소속이 해제됩니다 · 콘텐츠·피드백 등 팀 데이터는 위 버튼으로 먼저 삭제하세요.
원문 링크 백필
- 링크 없이 적재된 과거 콘텐츠에 원문 링크만 채웁니다
- 초안·검수 판정·적재 시각은 바뀌지 않습니다
- 매핑 파일(xlsx/csv/tsv/jsonl)에 URL(링크) 컬럼과 해시 또는 제목 컬럼이 있으면 됩니다
- 해시가 있으면 해시 우선, 제목은 정확히 일치하는 1건에만 적용합니다(동일 제목 다건은 건너뜀)
API 키
🔒 API 키는 서버에서 관리됩니다
공유 서버 모드입니다. 추출 키는 관리자가 설정하고, 팀원은 따로 키를 넣지 않아도 바로 사용합니다.
API 키
- 통합 라우터 · 한 키로 여러 모델(OpenAI · Anthropic · Google · Solar 등)을 호출합니다
- 키 관리가 단순해 권장
- 직접 호출 · Upstage 키로 Solar 모델을 직접 호출합니다
- 통합 라우터와 함께 등록해도 됩니다
- 키 저장 시 연결을 확인합니다
- 기본 실행 모델은 콘텐츠 관리 · 모델 실행 · 사용 모델에서 선택합니다
팀 가이드 링크
시작하기 카드의 '상세 가이드' 바로가기 주소입니다 · 대상을 고르고 URL 을 넣어 저장하면 팀 전체에 공유됩니다.
법령 필터운영 관리자
- 법령 1차 필터(13종 위반 라우팅·스코어링)를 추출에 포함합니다
- 켜면 다음 추출부터 적용됩니다(추가 호출 · 건당 비용 증가)
- 품질 판정 단계를 끄면 품질 호출을 건너뛰고 등급이 비어 있는 상태(판정 없음)로 남습니다
- 빈 등급은 유통 가능(G)으로 취급하지 않습니다
검수 보조 에이전트 모델운영 관리자
- 판정한 모델이 설명까지 하면 틀린 판정도 맞는 것처럼 편들기 때문에, 설명은 다른 모델에게 맡깁니다
- 고르면 바로 저장되고 팀 전체에 적용됩니다
- 아직 고르지 않았으면 기본 모델이 보입니다(그 모델로 답합니다)
지금 판정 모델과 같습니다 · 자기 판정을 자기가 설명하게 됩니다
메타베이스 연결운영 관리자
- 프리즘 서버가 메타베이스 API 를 대신 호출합니다
- DB 접속 정보는 받지 않습니다
- 기본 SQL 은 열 별칭 계약(id · service · title · body · url · published_at · grade · summary · entities · intent · category · model · version)에 맞춥니다
- 조건·페이지는 프리즘이 얹습니다
시작하기
상세 가이드 ↗
STEP 1
콘텐츠 넣기
텍스트·엑셀·이미지·자동 인입으로 검수할 콘텐츠를 넣습니다. 용도(검수용/평가용)를 먼저 고릅니다.
STEP 2
모델 실행
같은 화면 STEP 2에서 초안을 생성합니다. 키가 없어도 모의 모드로 전 과정을 체험할 수 있습니다.
STEP 3
검수 목표(퀘스트) 생성
반영 일시를 정해 저장하면 팀 퀘스트가 시작되고, 전 팀원의 홈에 D-day가 나타납니다.
STEP 1
검수하기
목록의 행을 클릭해 원문과 AI 초안을 비교하고 정확/수정을 판정합니다.
A 정확 S 수정 ←→ 이동
STEP 2
틀린 초안 고치기
수정 판정 후 틀린 요소를 골라 바르게 고칩니다. 교정 하나하나가 팀의 학습 데이터가 됩니다.
STEP 3
점수와 성장
판정마다 점수가 오르고 퀘스트·배지·레벨이 자랍니다. 팀 퀘스트 D-day까지 함께 완주해요.
내 검수 진척율 · 함께 끝까지
%
팀 평균
내 담당 건 중 건 검수
검수 대상 건 중 내가 건 검수
주간 순위 · 승급/강등
- 이번 주 획득 점수로 매기는 순위입니다
- 상위 승급권은 지위 보상, 하위 강등권은 분발 신호입니다(지난주 대비 이동 표시)
이번 주 검수 활동이 아직 없습니다 · 검수 대기에서 점수를 쌓아 승급권에 드세요
검수 리더보드
아직 검수 기록이 없습니다 · 검수 대기에서 첫 검수를 해보세요
내 검수 캐릭터
로그인하면 나만의 검수 캐릭터가 생깁니다
다음 레벨까지 · 순위 #
검수
개선
스트릭
골드
🎯
배지 컬렉션
🥚 검수 새싹
의 첫 검수로 캐릭터를 깨워요 · 검수하러 가기 →
STEP 3실행 큐 · 이력
실행 큐 · 이력
·
진행 중인 작업이 없습니다 · STEP 1에서 추가하고 STEP 2 실행을 누르면 여기에 진척도가 표시되고, 완료 작업은 이력으로 남습니다
메타 생성 실패 콘텐츠
| 콘텐츠 | 서비스 | 모델 | 실패 종류 | 콜 | 일자 | ||
|---|---|---|---|---|---|---|---|
| · |
추가된 콘텐츠 · 용도
| 콘텐츠 | 서비스 | 모델 | 버전 | 용도 | ||
|---|---|---|---|---|---|---|
| 원문 소실 | 미실행 |
- 과업·역할·제약·출력 형식을 말로 선언하면, 메타 컴파일러가 계열(Claude·GPT·Gemini·Solar)별 프롬프트를 만듭니다
- 만든 프롬프트는 테스트를 거쳐 적용·라이브러리 저장·배포합니다(채택 전 테스트 필수)
- 운영 엔진(계약·래퍼·미리보기)은 사전 · 정책 → 프롬프트 엔진에서 관리합니다
STEP 1스펙 선언
스펙 선언
과업 (필수)
역할
배경 · 의도
제약 (줄 단위)
출력 형식
예시 (입력 → 기대 출력)
STEP 2컴파일 설정 · 실행
컴파일 설정 · 실행
메타 컴파일러
대상 계열
테스트 실행 · 적용 전 확인
테스트 모델
적용 · 저장
적용 대상 단계
프롬프트 배포 · 외부 API 제공
- 배포 = slug + 프롬프트 스냅샷 버전 pin · pin 을 바꾸면 호출측 코드 수정 없이 서빙 프롬프트가 즉시 교체됩니다(버전 0 = 항상 최신)
- API 키는 발급 순간 1회만 표시됩니다(서버는 해시만 저장)
- 유출 시 회수하고 새로 발급하세요
- 호출 예:
slug
이름
버전 pin (0=최신)
새 API 키
배포 목록
아직 배포가 없습니다 · 위에서 slug 를 만들고 키를 발급하세요
프롬프트 라이브러리
- 빌더 결과·직접 작성한 프롬프트를 패턴으로 저장합니다
- 자주 쓰는 항목은 핀으로 위에 고정
- 항목은 복사해 쓰거나 단계 원천 지시로 적용할 수 있습니다(적용 경로는 사전·정책 · 메타 프롬프트 탭과 동일)
이름 (필수)
도메인 · 용도
프롬프트 본문 (필수)
저장된 패턴
아직 저장된 패턴이 없습니다
단계
본문 보기
불러오는 중…
후속 조치
실제 작업시간
- 아래 시간은 종료한 작업의 시작·중단·재개 기록 기준입니다
- 판정 저장 간격 기반 예상 처리율과 별도 집계입니다
- 작업 시간은 탭이 가려졌거나 초 넘게 입력이 없던 구간을 뺀 시간입니다
- 과거 추정은 측정 시작 전 판정 기록의 연속 판정 간격(1초~10분)으로 낸 값이라 실측과 따로 봅니다
| 검수자 | 처음 판정 | 작업 시간 중간값 | 상위 10% | 머문 시간 중간값 | 교정까지 | 판정 없이 닫음 | 다시 보기 | 과거 추정 |
|---|---|---|---|---|---|---|---|---|
이 기간에 기록이 없습니다 · 검수자가 상세를 열고 판정하면 쌓입니다
이번 배정 진행
미검수 잔여
주간 처리 가능량
완료 예상일
정체 배정
판정 불일치
최종검수자 판정 대기
정답셋 확정
팀에서 빠진 검수자의 배정
정체 배정
여력 있는 검수자
잔여 추이
검수 기록이 쌓이면 추이가 표시됩니다
주간 기록
| 주차 | 기간 | 검수량 | 교정 | 배정분 완료 | 마감 잔여 | 정체 | 비고 |
|---|---|---|---|---|---|---|---|
| 진행 중 | 추정 활동 원장 없음 |
- 검수량 · 교정은 활동 원장(판정 시점에 하루 단위로 쌓는 기록)이라 나중에 재검수해도 줄지 않습니다
- 배정분 완료 · 마감 잔여는 마감 시점 스냅샷입니다
- 스냅샷 이전 주는 추정으로 표시합니다
- 마감된 주는 이 화면을 열 때 한 번 고정되고, 이후에는 다시 계산하지 않습니다
검수자별 현황
| 검수자 | 상태 | 진행률 | 잔여 | 정체 | 추가 가능량 | 신호 · 점검 | |
|---|---|---|---|---|---|---|---|
|
최종검수자 |
|
|
검수자가 없습니다 · 팀 관리에서 멤버를 초대하세요
- 왼쪽은 신고 일정(관리자 입력 · 본인 확인), 오른쪽은 실측 기록입니다
- 상태가 휴가·교육 중·비활성이면 배정 대상에서 자동 제외됩니다
- 검수 속도는 판정 간 간격으로 측정합니다
- 시간당 건을 넘는 구간은 처리량 산정에서 제외합니다(본문 통독이 불가능한 속도)
신고 일정
판정 저장 간격 기반 예상 · 최근 4주
검수 속도
추정값
검수량
주간 처리 가능량
이번 주 미확인
상한 적용
현재 배정
정확도
점검 항목
검수자가 없습니다 · 팀 관리에서 멤버를 초대하세요
- 1명당 여러 주제의 신규 1차 검수 합계 약 100개 기준
- 이월·재검수는 별도 집계
| 콘텐츠 | 담당자 | 대표 주제 | 표본 | 작업 | 원래 주차 | |
|---|---|---|---|---|---|---|
| 주차 | 담당·주제 | 신규 | 이월 | 재검수 | 판정 저장 | 일반 / 집중 |
|---|---|---|---|---|---|---|
이전 주간 계획·변경 기록
담당 규칙
아직 규칙이 없습니다 · 모든 콘텐츠를 여력 비례로 나눕니다. 규칙을 추가하면 그 서비스·주제는 지정한 담당자에게만 갑니다.
| 기준 | 값 | 담당자 · 첫 사람이 주 담당, 나머지는 부 담당 | |
|---|---|---|---|
저장한 뒤부터 자동 배정 · 자동 운영 · 재배정에 적용됩니다
담당이 없는 콘텐츠는 담당 영역이 없는 검수자가 먼저 받습니다 · 서비스 규칙과 주제 규칙이 겹치면 서비스 규칙을 따릅니다
자동 배정
배분 기준
기한은 검수를 막지 않습니다 · 현황이 '이번 배정' 기준으로 바뀌고, 신호등(마감 임박·늦음)과
기한 내 완주 보너스 100PT, 자동 운영을 켠 경우의 마감 전 재배정이 이 기한을 기준으로 돕니다.
같은 기한으로 다시 배정하면 같은 배정 묶음에 더해집니다.
| 검수자 | 배정량 | 배정 후 잔여 | 주간 처리 가능량 | 보장 하한 | 담당 규칙 | |
|---|---|---|---|---|---|---|
| 여력 초과 |
배정하면 해당 검수자의 검수 목록에만 노출됩니다
수동 배정
여력 계산을 거치지 않고 지정한 대로 배정합니다. 특정 분야 강점 검수자에게 몰아주거나,
같은 묶음을 여러 명이 함께 볼 때 씁니다.
정체 · 부재분 재배정
계획을 확인한 뒤 실행합니다 · 실행 내역은 아래 배정 이력에 남습니다
재배정 완료
자동 운영
배정 이력
| 일시 | 실행자 | 방식 | 건수 | 배정 대상 |
|---|---|---|---|---|
| 현재 묶음 |
배정 이력이 없습니다
검수자 일정 확인
- 이번 주에 검수에 낼 수 있는 시간을 확인해 주세요
- 배정량이 이 값에 맞춰집니다
- 주간 가용 시간은 이번 주 전체 합계입니다
- 하루 기준이 아닙니다
- 휴가·교육 중·비활성으로 두면 이번 주 배정에서 빠집니다
검수자 일괄 배정 여러 콘텐츠에 한 번에 지정합니다 · 슈퍼관리자 이상
STEP 1
콘텐츠 선택배정 대상을 선택합니다
⚄ 무작위 자동 선택
건 ×
그룹
| 제목 | 서비스 | 배정 | |
|---|---|---|---|
조건에 맞는 콘텐츠가 없습니다
STEP 2
담당자 지정선택한 콘텐츠를 검수할 팀원
배정 가능한 검수자가 없습니다(최종검수자 제외) · 팀 관리에서 멤버를 초대하세요
STEP 3
확인배정 내용을 확인하고 실행하세요
· 그룹 →
· 최소 검수인원 명
· 최소 검수인원 명 (그룹 담당자 수를 넘으면 자동으로 낮춰 적용)
· 콘텐츠마다 담당 명 · 밀린 배정이 적은 사람부터 고르게 나눕니다
· 배정 후 담당자에게만 검수 큐에 표시(배타적)
최근 배정 이력
검수 보조
판정 전 · 근거와 기준
판정 후 · 선례와 사례 포함
의견 갈림
→
근거를 댈 수 있는 답이 나오지 않았습니다 · 위 자료를 직접 봐 주세요
자료가 많아 일부만 넣었습니다
불러오는 중…
- 메타 유무 조건을 해제해 누락·미분류 자료까지 확인하세요
- 일반/집중 표본과 대상 부족 사유는 주간 배정 계획에 구분해 기록합니다
콘텐츠 조회
모의
| 서비스 | 콘텐츠 | 등급 | 인텐트 | 카테고리 | 발행 | 상태 | |
|---|---|---|---|---|---|---|---|
| 인입됨 |
필터에서 발행일과 조건을 고른 뒤 조회를 누르면 그 범위의 콘텐츠만 불러옵니다 · 기본 발행 기간은 오늘 하루
- 발행 기간 기본은 오늘 하루이고 필터에서 기간을 넓힐 수 있습니다
- 조건을 먼저 고르고 조회하면 그 범위만 읽어 부담이 적습니다
- 목록은 50건씩 페이지로 넘깁니다
- 제목을 누르면 검수 상세와 같은 화면으로 본문과 발행 메타를 확인할 수 있습니다(읽기 전용 · 판정은 지정 뒤 검수에서)
- 지정하면 콘텐츠와 발행 메타가 프리즘으로 복사되고, 발행 메타가 그대로 모델 초안이 됩니다(다시 추출하지 않음)
- 같은 콘텐츠는 두 번 인입되지 않습니다
- 이미 인입된 행은 인입됨으로 표시됩니다
- 수집분은 검수 콘텐츠가 아닙니다
- 지정하지 않은 행은 목록에서 삭제하거나 두면 정리 기한 뒤 자동으로 지워집니다
핵심 키워드 / 문장운영자 전용
- 입력은 발행된 메타(리드문·엔티티·인텐트·카테고리)뿐입니다 · 제목·본문은 쓰지 않고, 키워드 근거 확인도 메타 안에서 합니다
- 핵심 키워드 최대 3개 · 기본 선정 비중은 구독 40%·클러스터링 40%·검색 의도 20%입니다
- 메타가 뒷받침하는 후보에서 선정합니다 · 조합형(엔티티를 포함한 명사구)과 단일형(엔티티 또는 주제어)은 형태와 관계없이 선정 순서를 유지합니다
- 비중은 프롬프트의 판단 기준이며 실측 점수가 아닙니다 · 비교 기준인 지금 방식은 확신도 상위 3개입니다
- 키워드 후보는 별도 모델 검사에서 메타 근거·대상 간 관계·부정·미확정 상태·중복을 확인합니다 · 검사 실패 후보는 사용하지 않습니다 · 모델 검사도 오판 가능성이 있어 사람의 비교 검토가 필요합니다
- 핵심 문장: 핵심 키워드가 나온 뒤 그 키워드와 메타로 다시 씁니다 · 키워드가 실패하면 메타만으로 쓰고 표시합니다
- 프롬프트는 호출·모델별로 저장합니다 · Solar 모델에는 Upstage 쿡북을 바탕으로 만든 입출력 예시를 자동으로 붙입니다
저장한 사용자 프롬프트를 사용 중입니다. 새 기본 기준을 적용하려면 각 호출에서 ‘기본 프롬프트로 되돌리기’를 누른 뒤 저장하세요.
STEP 1모델·프롬프트
출력 형식(고정 · 프롬프트 뒤에 자동으로 붙습니다)
적용 프롬프트 보기 · 마지막 저장 기준
호출별 모델 · 저장
STEP 2실행
단건
기존 메타 · 리드문
핵심 문장 · 재가공검사 미통과 · 생성 초안
키워드 없이 메타만으로 생성
- 키워드 · 지금 방식
- 키워드 · 재가공
-
- 모델 · 지연
키워드 근거·제외 사유
| 엔티티 | 정식명 | 유형 | 관련도 | 키워드 후보 |
|---|---|---|---|---|
구독·콘텐츠 묶음에 적합하고 검색 의도에도 맞는 키워드는 어느 쪽인가요?
기록했습니다
다건 · 정답셋 일괄
- 엔티티가 있는 정답을 대분류별로 고르게 뽑습니다
- 카테고리가 없으면 인텐트로 나누며, 실행할 때마다 다시 선정합니다
진행
지금 방식과 같은 표기 · 품질 점수 아님
후보에서 뺀 엔티티
조합형 키워드 비율
성공 문장 평균 길이
실패(키워드 · 문장)
키워드 없음 · 검토 필요
기존 메타 · 리드문
핵심 문장 · 재가공검사 미통과 · 생성 초안
키워드 없이 메타만으로 생성
- 키워드 · 재가공
-
선정된 키워드 없음
- 키워드 · 지금 방식
키워드 근거·제외 사유
키워드 비교
키워드 보관 결과
기존 투표 기록은 보존되며, 아래 집계는 결과에 연결된 새 투표만 포함합니다 · 문장 결과는 이 보관 대상에 포함되지 않습니다
보관된 키워드 결과가 없습니다
당시 입력 메타
이미지 검증운영자 전용
- 이미지 한 장을 선택한 모델로 한 번 검사하고, 관찰 항목·점수·근거·응답 시간을 확인합니다
- 클린플랫폼의 사후처리 이벤트와 별개인 실험 결과입니다. 운영 등급이나 차단 여부를 확정하지 않습니다
STEP 1이미지·모델 선택
검사할 이미지
이미지를 읽고 있습니다.
실행하면 이미지를 선택한 모델 제공자에게 전송합니다. 프리즘 저장소에는 보관하지 않습니다.
실행 모델
모델 연결 정보를 불러오고 있습니다.
연결된 이미지 모델이 없습니다. 시스템 설정에서 시각 모델과 라우터 API 키를 연결하세요.
모의 실행 환경입니다. 이미지 판독이나 실제 모델 호출을 수행하지 않습니다.
- 선택한 모델에서 오류가 나면 결과를 중단합니다
- 점수는 모델의 자기보고 확신도이며, 보정된 유해 확률이 아닙니다
STEP 2실험 프롬프트
성적 노출·행위, 폭력·유혈, 자해 묘사의 관찰 여부와 점수·근거를 같은 형식으로 받습니다. 이 세 항목은 실험용이며 전사 정책 전체를 뜻하지 않습니다.
STEP 3실행·결과 확인
이미지를 검사하고 있습니다. 모델 응답까지 최대 90초가 걸릴 수 있습니다.
실행 후 관찰 결과와 모델 원문 응답을 확인하고 JSON으로 내려받을 수 있습니다.
실험 결과
모의 응답입니다. 모델 성능 검증에 사용할 수 없습니다.
응답 형식이 맞지 않아 관찰 결과를 표시할 수 없습니다. 원문 응답을 확인하세요. 자동 재호출하지 않았습니다.
실제 모델 요청
처리 시간
확인된 응답 항목
| 관찰 항목 | 관찰값 | 확신도 | 이미지 근거·맥락 |
|---|---|---|---|
관찰되지 않음은 검사한 항목에 한정됩니다. 법 위반·연령 등급·서비스 제재의 확정 결과가 아닙니다.
모델 원문 응답
실행한 프롬프트
입력·결과는 현재 화면에만 보관합니다. 다운로드에는 이미지 원본 대신 해시, 사용한 프롬프트, 모델, 점수, 원문 응답이 포함됩니다.
STEP 1테스트 방식
- 단일 모델 테스트는 모델 1개로 콘텐츠 1~100건을 확인합니다
- 비교 실험은 동일한 콘텐츠에서 모델·프롬프트 버전 2~3개를 비교합니다
- 같은 모델의 다른 프롬프트 버전도 비교할 수 있습니다
- 결과를 A·B·C로 섞어 보여주고, 각 결과를 검수한 뒤 모델·버전을 공개합니다
STEP 2모델·프롬프트 설정
| 설정 항목 | |
|---|---|
| 모델 | |
| 프롬프트 버전 | |
| 버전 관리 |
- 선택한 모델에 저장된 프롬프트 버전만 표시합니다
- ‘새 버전 만들기’에서 모델과 규칙을 선택하고 저장하면 해당 조합에 연결됩니다
STEP 3콘텐츠 선택
- 열: 콘텐츠 이름 · 리드문(필수) · 엔티티(필수) · 인텐트 · 카테고리 · 원문 URL
- 원문 URL 을 넣으면 상세 검수에서 원문 페이지 탭이 열립니다
- 값이 여러 개면 쉼표로 구분합니다
- 한 번에 최대 100건 · 2MB 이하 xlsx·csv
| 행 | 콘텐츠 이름 | 리드문 | 엔티티 | 상태 |
|---|---|---|---|---|
| 읽을 수 있는 행이 없습니다 | ||||
- 엔티티가 있는 콘텐츠 정답셋에서 입력한 수만큼 가져옵니다
문장에 사용할 핵심 키워드
- 기존 문장 실험의 입력 키워드를 그대로 사용합니다
- 비교할 모든 모델에 같은 키워드와 메타를 전달합니다
- 입력 키워드도 실행 기록과 문장 정답에 함께 보관합니다
STEP 4실행·결과 확인
STEP 5실험 기록
실험 기록
| 실행 일시 | 입력 | 콘텐츠 | 조합 | 상태 |
|---|---|---|---|---|
| 열림 | ||||
| 아직 실행한 실험이 없습니다 | ||||
실행 결과
| 상태 | 콘텐츠 | 카테고리 | 검수 | |
|---|---|---|---|---|
| · | 모의 | |||
평가 항목 · 조합별 지표
| 평가 항목 | |
|---|---|
- 적합·수정·제외 비율은 최종 확정한 판단 기준입니다. 완전 일치는 실행 당시 평가용 정답과 키워드 표기·구성이 모두 같은 콘텐츠 수입니다. 순서는 무관하며 추가·누락·표기 차이·실행 실패는 불일치입니다.
실험 결과 상세 · 검수
⌨ 단축키
- 화면이 비어 보이면 이 사이트가 내장 표시를 차단한 것입니다
- 원문 바로가기 ↗로 새 탭에서 확인하세요
리드문
엔티티 · 발행 순서
인텐트
·
카테고리
·
입력 핵심 키워드
없음 · 메타만 사용
모델에는 제목·본문을 전달하지 않습니다 · 제목은 검수자 식별용입니다
기존 검수 결과
- 먼저 저장된 검수부터 확인하세요
- 같은 입력으로 저장한 검수입니다 · 현재 조합의 판정에는 자동 반영되지 않습니다
- 최초 검수자와 최신 저장 내용을 표시합니다 · 저장 전 작업 여부는 표시되지 않습니다
- 기존 검수가 있어 읽기 전용으로 열었습니다
- 추가 검수가 필요한 경우 담당자와 확인한 뒤 시작하세요
프롬프트 관리
실제 호출 프롬프트·검사 규칙
새 버전
구글 시트 연동
- 연결 코드는 인증만 합니다 · 다시 만들면 이전 코드는 바로 막힙니다
- 템플릿 사본에서 시트 메뉴 프리즘 › 양식 만들기
- 프리즘 › 연결 설정에 연결 코드 붙여 넣기
- 설정 탭에서 원천 메타 모델·핵심키워드 프롬프트 고르기
- 프리즘 › 실행(원천 메타)·실행(핵심키워드)·실행(둘 다)
- 끝나면 프리즘 › 결과 받기로 행에 적기 · 키워드 실행은 실행·비교 탭 실험 기록에 남고 검수도 그곳에서 합니다
STEP 1개선 대상
STEP 2개선용 정답
STEP 3평가용 정답
실행
실행 유형
실행 결과 확인
| 회차 | 완전 일치 / 평가 콘텐츠 | 결과 | 검수 |
|---|---|---|---|
개선된 프롬프트
개선된 프롬프트
적용 쿡북
프롬프트 저장
- 저장할 개선안이 없습니다
- 개선 전 프롬프트가 이미 평가용 정답과 모두 일치하거나 실행이 끝나지 않았습니다
- 개선 전보다 점수가 오르지 않은 개선안입니다
- 실행·비교에서 이 버전을 골라 쓸 수 있습니다
- 실행·비교에서 이 버전을 골라 쓸 수 있습니다
기존 별칭은 행의 수정·삭제 버튼으로 바로 저장합니다. 대표 이름은 유지됩니다.
불러오는 중…
| 서비스 | 제목 | 등급 | 검수 | |
|---|---|---|---|---|
| · |
해당 콘텐츠가 없습니다
정책 도움말
현재 검수 항목의 값 · 눌러서 기준 보기
이 값으로 분류된 콘텐츠가 없습니다
키워드 정답셋 만들기
- 기존 검수 결과가 있으면 먼저 확인, 추가 검수가 필요한 경우 담당자와 확인 후 시작
- 실험 기록에서 결과를 열고 모든 키워드의 적합·수정·제외 판단과 사유 입력
- 누락 키워드 추가 또는 적합한 키워드 없음 선택, 정답 미리보기 확인
- 정답셋 용도 선택: 개선용은 프롬프트 튜닝에 사용, 평가용은 튜닝 결과 측정에만 사용
- 최종 검수 권한 보유자가 검수 완료·정답셋 저장 클릭, 저장 완료 안내 확인
- 프롬프트 개선 탭에서 개선용·평가용 정답 선택 후 실행, 결과 확인 뒤 프롬프트 저장
- 저장 직전 기존 결과와 변경 결과 확인
- 다른 검수가 먼저 저장되었으면 경고 확인 후 저장
- 확인 후 다시 변경되면 저장을 중단하고 재확인
- 확정 수정 시 이전 결과·검수자·시각을 변경 이력에 보존
- 임시 저장은 검수 도중 기록 보관용, 정답셋 저장 전에는 검수 미완료
- 완료 버튼 한 번으로 판단·최종 확정·정답셋 저장을 함께 처리, 변경 없는 완료 결과의 중복 저장 차단
- 정답 기준은 키워드 순서와 관계없이 표기·구성이 모두 일치하는지 확인, 추가·누락 키워드는 불일치
- 개선에 사용한 콘텐츠는 평가용으로 전환 불가
- 최종 확정 취소 후 판단·메모와 과거 실험은 보존, 해당 정답은 이후 개선·평가에서 제외
- 취소한 결과의 재사용은 검수 완료·정답셋 저장으로 처리
공식 표기는 영문(IAB Content Taxonomy 기반) · 한글은 표시용 병기 · 예시는 초안(팀 확정 대상)
ETC_OUT · 사전 값이 아닙니다 · 모델 호출이 실패하면 빈 값 대신 붙는 대체값으로, 검수 때 올바른 카테고리로 고쳐 주세요
| Tier2 | 정의 | 예시 |
|---|---|---|
분기 규칙 · 경합 시 우선순위
검색 결과가 없습니다 · 다른 탭도 확인해 보세요
2026-09-22 부터 68개 값 전부를 출처와 무관하게 부여합니다 · 묶음(①·②·③)은 읽기 편의용 표시입니다
ETC_OUT · 사전 값이 아닙니다 · 모델 호출이 실패하면 빈 값 대신 붙는 대체값으로, 검수 때 올바른 인텐트로 고쳐 주세요
| 인텐트 | 정의 | 예시 (초안) |
|---|---|---|
검색 결과가 없습니다 · 다른 탭도 확인해 보세요
| 사유 | 정의 · 판정 기준 | 적용 |
|---|---|---|
검색 결과가 없습니다 · 다른 탭도 확인해 보세요
| 등급 | 판정 기준 |
|---|---|
콘텐츠 보기읽기 전용
⌨ 단축키
저장 원문을 확인할 수 없습니다 · 원문 링크를 확인하고 판단이 어려우면 보류하세요
카페 회원 전용 글일 수 있어요 · 아래 저장된 본문·이미지로 확인해 주세요
- 화면이 비어 보이면 이 사이트가 내장 표시를 차단한 것입니다
- 원문 바로가기 ↗로 새 탭에서 확인하세요
- 페이지가 떠도 "권한이 없거나 존재하지 않는 글" 같은 안내문이면 원문이 삭제·비공개된 것(원문 소실)입니다
리드문
엔티티 · 사전 등재분은 타입 표시 · 클릭해 상세·수정·보강
·
이 엔티티가 콘텐츠와 관련 있나요?
· 답만 남고 콘텐츠는 바뀌지 않습니다 · 모인 답으로 확신도 기준을 다시 맞춥니다
엔티티 수정 · 칩 클릭 = 삭제 · 추천 탭 또는 검색으로 추가
값 없음
추천
일치하는 등재 개체가 없습니다 · Enter 로 새 엔티티로 추가할 수 있어요
인텐트
·
카테고리
미분류 · 분류 필요
품질 사유
유통 등급 판정
제목·본문의 품질을 확인해 유통 여부를 판정하세요. 메타 4종의 정확성 판정과 별도로 저장합니다.
프리즘의 판정값과 사유를 저장합니다. 실제 서비스 반영 여부는 별도로 확인해야 합니다.
항목별 판정
분석 당시 저장 원문·버전
- 원천 아이템
- 입력·정책·발행
- 모델·프롬프트
원문·메타나 다른 담당자의 기록이 바뀌면 저장을 거절합니다 · 실제 적용 버전이 없는 과거 자료는 미확인으로 표시합니다.
상단에서 수정·저장한 엔티티는 현재 값으로 판정하세요. 수정할 내용이 더 없으면 ‘정확’을 선택하면 됩니다. 관련 있음·없음 답변과 사전 정보는 별도로 저장됩니다.
실제 작업시간
조치 진행
정답셋
기준별 작업 이력
아직 기록이 없습니다
검수 기준 합의
불러오는 중…
메모
아직 기록이 없습니다
현재 정답 인텐트 ·
없음
공통 68 후보 기준으로 다시 봅니다 · 위 초안의 의도가 맞으면 '이 인텐트로 재확정' · 다르면 '고쳐서 재확정'(편집 뒤 저장) · 폐기값은 저장할 수 없습니다
내 판정
리드 최종판정
🔒 다른 검수자에게 배정된 콘텐츠예요 · 직접 검수하려면 검수 대상 목록 담당 열의 지정에서 배정을 바꾸세요
어떤 요소를 고칠까요?