Skip to content

Latest commit

 

History

History
75 lines (61 loc) · 5.74 KB

README_ja.md

File metadata and controls

75 lines (61 loc) · 5.74 KB
Raw

English ∙ 简体中文 ∙ 日本語

CSGHub Serverは、オープンソースで信頼性の高い大規模モデル資産管理プラットフォーム - CSGHubの一部です。REST APIを通じてモデル、データセット、その他のLLM資産の管理に焦点を当てています。

主な機能：

  • ユーザーと組織の作成と管理
  • モデルとデータセットのラベルの自動タグ付け
  • ユーザー、組織、モデル、データの検索
  • データセットファイルのオンラインプレビュー、例えば .parquet ファイル
  • テキストと画像のコンテンツモデレーション
  • 個々のファイルのダウンロード、LFSファイルを含む
  • モデルとデータセットのアクティビティデータの追跡、ダウンロード数やいいね数など

デモ

CSGHubの機能と使用方法を迅速に理解するために、デモビデオを録画しました。このビデオを視聴することで、プログラムの主な機能と操作手順を迅速に理解できます。

  • CSGHubのデモビデオは以下の通りです。また、YouTubeやBilibiliでもご覧いただけます。
    csghub-demo-1080p.mp4

強力な管理機能を体験するには、OpenCSGウェブサイトをご覧ください。

クイックスタート

システムリソース要件: 4c CPU/8GBメモリ

Dockerをインストールしてください。このプロジェクトはUbuntu22環境でテストされています。

docker-composeを使用してローカライズされたCSGHub Serverサービスを迅速にデプロイできます：

# APIトークンは少なくとも128文字の長さである必要があり、csghub-serverへのHTTPリクエストにはAPIトークンをBearerトークンとして送信して認証を行う必要があります。
export STARHUB_SERVER_API_TOKEN=<API token>
mkdir -m 777 gitea minio_data
curl -L https://raw.githubusercontent.com/OpenCSGs/csghub-server/main/docker-compose.yml -o docker-compose.yml
docker-compose -f docker-compose.yml up -d

技術アーキテクチャ

csghub-server architecture

拡張性とカスタマイズ性

  • Gitea、GitLabなどの異なるGitサーバーをサポート
  • LFSストレージシステムの柔軟な構成をサポートし、S3プロトコルに対応したローカルまたは任意のサードパーティクラウドストレージサービスを使用できます
  • 必要に応じてコンテンツモデレーションを有効にし、任意のサードパーティコンテンツモデレーションサービスを選択できます

ロードマップ

  • さらに多くのGitサーバーをサポート: 現在はGiteaをサポートしており、将来的には主流のGitリポジトリをサポートする予定です。
  • Git LFS: Git LFSは大きなファイルをサポートし、Gitコマンド操作とWeb UIを通じたオンラインダウンロードをサポートします。
  • データセットのオンラインビューア: データセットのプレビュー、LFS形式のデータセットのTop20/TopNの読み込みプレビューをサポートします。
  • モデル/データセットの自動タグ付け: カスタムメタデータとモデル/データセットタグの自動抽出をサポートします。
  • S3プロトコルのサポート: S3（MinIO）ストレージプロトコルをサポートし、より高い信頼性とストレージコスト効率を提供します。
  • モデルフォーマットの変換: 主流のモデルフォーマットの変換。
  • モデルのワンクリックデプロイ: OpenCSG llm-inferenceとの統合をサポートし、ワンクリックでモデル推論を開始します。

ライセンス

Apache 2.0ライセンスを使用しています。詳細はLICENSEファイルをご覧ください。

貢献

貢献したい場合は、貢献ガイドラインに従ってください。貢献を非常に楽しみにしています！

謝辞

このプロジェクトは、Gin、DuckDB、minio、Giteaなどのオープンソースプロジェクトに基づいています。これらのオープンソースの貢献に心から感謝します！

お問い合わせ

使用中に問題が発生した場合は、以下のいずれかの方法でお問い合わせください：

  1. GitHubでissueを発行する
  2. WeChatヘルパーのQRコードをスキャンしてWeChatグループに参加する
  3. 公式Discordチャンネルに参加する: OpenCSG Discord Channel
  4. Slackワークスペースに参加する: OpenCSG Slack Channel