PhotoroomがPRXモデルのデータ戦略を詳解
PRX Part 4: Our Data Strategy
3行まとめ
- •Photoroomが画像生成モデルの学習データ戦略を公開
- •VLMで詳細キャプション生成し品質指標が大幅改善
- •JPEG保存でデータ量を最大10分の1に圧縮
詳細
背景
Photoroomは、テキストから画像を生成する70億パラメータの自社モデル「PRX」の開発過程をブログシリーズで公開しており、第4弾ではデータパイプラインの詳細な戦略を解説している。同社は事前学習において個々の画像の完璧さよりデータセットの多様性を優先するアプローチを採用し、広範で代表的なコーパスがモデルの視覚世界の理解を深めるという方針を明示している。
内容
学習データは公開データと社内データを組み合わせて構築する。探索と特徴エンジニアリングにはLanceフォーマットを使用し、学習時のストリーミングにはMosaic Data Shards（MDS）形式に変換する2段階のデータ保存戦略を採用。キャプション生成にはQwen3-VL-8B（大規模視覚言語モデル）による詳細なキャプションを採用し、短いキャプションより品質指標（FID・CMMD・DINO-MMD）で明確に優れた結果を確認した。画像はPNGではなくJPEG品質92で保存することで知覚品質をほぼ維持しながら3〜10倍のサイズ削減を実現。解像度ティアとアスペクト比ごとに13種のバケットへ分類しパッチトークン数を統一する工夫も施している。フィルタリングではキャプションのLLM分類によるテキスト過多コンテンツとNSFW素材の除去、知覚ハッシュによる重複排除を実施している。
今後の影響
データパイプラインのこうした詳細な公開は、独自モデルの学習を検討するAI開発チームにとって実践的な参考情報となる。キャプション品質がモデル性能に与える影響や画像フォーマット選択の定量的根拠など、具体的な設計判断の根拠が示されている点が有用だ。
なぜ重要か
Photoroomが画像生成モデルPRXのデータ戦略を公開し、VLM再キャプションやJPEG保存など実用的手法を詳解した。