現状と拘束力を持たないロードマップ

このページでは、v0.1系列で提供済みの挙動と、将来実施する可能性のある作業を分けて説明します。将来の項目は拘束力を持たない方向性であり、リリースの確約でも互換性の保証でもありません。

v0.1系列で実装済み

  • 型付きのText、JSON、Binary、Referenceペイロードの保存

  • JSONL、および任意機能としてのArrow IPC／Parquetの往復変換

  • フィルタリング、列の選択、結合、並べ替え、件数制限、AI固有操作に対応する、不変のPythonフレーム計画

  • 正規ハッシュの完全一致による重複排除と、来歴の保守的な統合

  • 字句ベースおよびプラグインによる順位付け

  • 必須／優先／任意に基づく予算内での選択

  • 英語と日本語に対応した、予算超過およびポリシー違反の構造化診断

  • 外部境界での、有効期限切れ、隔離済み、出所なし、制限対象データ、少数の機密情報らしいパターンに対する検査

  • バイナリwheelに含まれる、RustネイティブのSHA-256、o200k_baseとcl100k_baseに対応したOpenAI互換のトークン計数、Hugging Face tokenizer JSON対応

  • Text、JSON、Referenceペイロードに対応した、OpenAI形式、Anthropic形式、プレーンテキスト形式へのレンダリング

現時点の制約

  • Pythonプランナーは、フレーム操作をPythonで実行します。RustクレートはArrowスキーマとDataFusionセッションを公開していますが、現時点ではDataFusionがPythonの変換計画を実行するわけではありません。

  • ネイティブwheelが利用できる場合、profiles.openai()はコンテンツのトークン数を正確に計算します。ただし、プロバイダー固有の付加部分は保守的に見積もるため、マニフェストでは引き続きestimated=Trueとなります。

  • profiles.approximate()はUTF-8のバイト数に基づく概算であり、プロバイダーの上限を示すものではありません。

  • Binaryペイロードは保存と往復変換だけに対応します。任意のBinary項目はパック処理から除外され、必須のBinary項目ではUnsupportedContentが発生します。

  • 組み込みのランカーは字句ベースです。意味ベースのランカーや重複排除はありません。

  • 機密情報の検出はパターンに基づくため、偽陰性や偽陽性が生じる可能性があります。

  • to_openai()とto_anthropic()は単純なロール対応表を使用しており、プロバイダー固有のツール呼び出し識別子は保持しません。

  • idまたはcreated_atを省略すると、UUIDまたは現在時刻が生成されます。再現可能なマニフェストを得るには、両方を指定してください。

  • MCP、A2A、エージェントフレームワーク、ベクトルデータベース、モデルプロバイダーとの直接的なネットワーク連携はありません。

拘束力を持たない今後の方向性

考えられる方向性には、互換性のあるフレーム操作を既存のDataFusionインターフェースの背後へ移すこと、厳密なトークン付加部分を扱う認定済みプロファイルを増やすこと、マルチモーダルコンテンツ向けのレンダラーおよびトークンプロファイルのプラグインを追加すること、スキーマ移行ツールを改善すること、再現性の高い性能検証結果をさらに公開することが含まれます。

ペイロードスキーマは、最上位のペイロード構造を置き換えずに画像や音声のレンダラーを追加できるよう設計されています。この拡張性は、それらのレンダラーが現時点で存在することを意味しません。

ロードマップを変更する際も、セキュリティモデルと制約に記載されたセキュリティ上の契約を維持する必要があります。必須コンテンツを暗黙に除外しないこと、未対応のコンテンツを暗黙に文字列化しないこと、構造化診断をプログラムから利用するためのインターフェースとして維持することが、その契約に含まれます。