2026年8月11日 03:20
FineBooks、書籍OCR14種の精度検証
Old OCR text cripples language model training, and FineBooks wants to fix that at scale
3行まとめ
- •FineBooksが書籍OCRの精度を検証
- •OCR14種を2000ページで比較
- •最高精度97.6%、AI学習データ向け
詳細
背景
Hugging FaceとEleutherAIが共同で進める「FineBooks」プロジェクトは、大規模言語モデル（LLM）の訓練データとして使われる古い書籍のOCR（光学文字認識）テキストの品質問題に取り組んでいる。歴史的な書籍のスキャン画像から生成されたOCRテキストには誤字や欠落が多く、そのままLLMの訓練データに使うと品質を損なう懸念があった。
内容
研究チームは14種類のオープンソースOCRモデルを、2,000ページを超える歴史的な書籍ページで比較検証した。最も高い精度を示したのは「dots.mocr」というモデルで、文字レベルの精度は97.6%に達し、処理コストは1,000ページあたり2ドル未満に抑えられた。チームによれば、この精度はAIの訓練データとしては十分だが、学術的な文字起こし用途にはまだ不十分だとしている。
今後の影響
OCR精度の底上げは、歴史的文献や絶版書籍をLLMの訓練データとして低コストで大量に活用する道を開く可能性がある。一方で学術用途への転用には、さらなる精度向上が必要になる見込みだ。
なぜ重要か
歴史的な書籍のOCR精度向上により、LLM訓練データの整備コストと品質が改善する可能性がある研究成果。
元記事を読む — The Decoder