Prototype (#1)

Author: fukayatsu

.gitignore

@@ -0,0 +1,3 @@
+config.yml
+users.yml
+tmp

Gemfile

@@ -0,0 +1,8 @@
+# frozen_string_literal: true
+source "https://rubygems.org"
+
+git_source(:github) { |repo_name| "https://github.com/#{repo_name}" }
+
+gem 'docbase'
+gem 'esa'
+gem 'pry'

Gemfile.lock

@@ -0,0 +1,34 @@
+GEM
+  remote: https://rubygems.org/
+  specs:
+    coderay (1.1.2)
+    docbase (0.1.2)
+      faraday (~> 0.9.2)
+      faraday_middleware (~> 0.10.0)
+    esa (1.13.0)
+      faraday (~> 0.9)
+      faraday_middleware
+      mime-types (~> 2.6)
+      multi_xml (~> 0.5.5)
+    faraday (0.9.2)
+      multipart-post (>= 1.2, < 3)
+    faraday_middleware (0.10.1)
+      faraday (>= 0.7.4, < 1.0)
+    method_source (0.9.0)
+    mime-types (2.99.3)
+    multi_xml (0.5.5)
+    multipart-post (2.0.0)
+    pry (0.11.2)
+      coderay (~> 1.1.0)
+      method_source (~> 0.9.0)
+
+PLATFORMS
+  ruby
+
+DEPENDENCIES
+  docbase
+  esa
+  pry
+
+BUNDLED WITH
+   1.15.4

README.md

@@ -1 +1,46 @@
 # d2e
+
+DocBaseからesa.ioへのインポートスクリプトのサンプルです
+
+# スクリプトを使った移行の流れ
+
+## メンバーの紐付けの準備
+
+- Docbase上で、memmber全員の「名前」を「ユーザーID (半角小英数) 」と同一に揃えてください
+- docbase上のユーザーをesaに招待し、「ScreenName」をdocbase上の「ユーザーID (半角小英数) 」と同じにして下さい
+
+これらは、メンバーの紐付けのために必要です。この作業を行わなくても移行は行なえますが、システムが投稿した記事やコメントの扱いになります。
+
+## スクリプトの用意
+
+```
+$ git clone https://github.com/fukayatsu/d2e.git
+$ bundle install
+$ cp config.sample.yml config.yml
+```
+
+次に、
+
+- JSON形式でダウンロードした3つのzipを全てzipディレクトリに配置します
+  - esaでは同じチーム内での記事の閲覧権限は全員同じなので、全員が閲覧できてまずいドキュメントはこの段階で削除して下さい
+- `config.yml` にAPIトークンや設定を記述します
+- `users.yml` にdocbase上のユーザー名とesa上のユーザー名の紐付けを記述します
+- 必要に応じてimporter.rbの内容を変更します。
+
+## スクリプトの動作確認(Dry Run)
+
+```
+$ bundle exec ruby app.rb
+```
+
+ここでは、まだ実際には移行が行われません。
+移行された場合にどうなるか出力されます
+
+## インポート実行
+
+Dry Runの出力が問題なければ、実際にインポートを実行します。
+※ スクリプトの実行前に、esa運営チームにご連絡頂ければAPI制限の一時引き上げなどが可能です。
+
+```
+$ bundle exec ruby app.rb --run
+```

app.rb

@@ -0,0 +1,9 @@
+require 'optparse'
+require 'yaml'
+require_relative 'lib/importer'
+
+config = YAML.load_file('config.yml')
+importer = Importer.new(config)
+
+params = ARGV.getopts('', 'run', 'start:0')
+importer.import(dry_run: !params['run'], start_index: params['start'].to_i)

config.sample.yml

@@ -0,0 +1,10 @@
+# 移行先のesa.ioのチーム名
+esa_team_name: foo-test
+
+# /user/tokens/new から read/write の両方が有効なtokenを作成
+esa_access_token: xxx
+
+# docbaseのデータをJSON形式でダウンロードし、展開したフォルダのpath
+file_dir:  tmp/corp2_file001_xxx
+image_dir: tmp/corp2_image001_xxx
+json_dir:  tmp/corp2_json001_xxx

lib/base_converter.rb

@@ -0,0 +1,59 @@
+class BaseConverter
+  def initialize(dry_run:, client:, config:, screen_names: [])
+    @dry_run      = dry_run
+    @client       = client
+    @screen_names = screen_names
+    @config       = config
+
+    @files  = Dir.glob File.expand_path(File.join(config['file_dir'], '*'))
+    @images = Dir.glob File.expand_path(File.join(config['image_dir'], '*'))
+  end
+  attr_reader :dry_run, :client, :screen_names, :config, :files, :images
+
+  def convert(content)
+    {
+      post:     post_params(content),
+      comments: content['comments'].map { |c| comments_params(c) }
+    }
+  end
+
+  private
+
+  def post_params(content)
+    raise NotImplementedError.new("You must implement #{self.class}##{__method__}")
+  end
+
+  def comment_params(comment_content)
+    raise NotImplementedError.new("You must implement #{self.class}##{__method__}")
+  end
+
+  def screen_name_for(name)
+    return name if screen_names.include?(name)
+    'esa_bot'
+  end
+
+  def reupload(text)
+    return text unless text
+
+    text.gsub(%r{https://docbase.io/file_attachments/[a-z0-9\-\.]+}) do |match|
+      basename = File.basename(match)
+      local_file = files.find { |file| File.basename(file).end_with?(basename) }
+      new_url_for_attachment(match, local_file, dry_run)
+    end.gsub(%r{https://image.docbase.io/uploads/[a-z0-9\-\.]+}) do |match|
+      basename = File.basename(match)
+      local_file = images.find { |file| File.basename(file).end_with?(basename) }
+      new_url_for_attachment(match, local_file, dry_run)
+    end.gsub('](/images/file_icons/', '](https://docbase.io/images/file_icons/')
+  end
+
+  def new_url_for_attachment(match, local_file, dry_run)
+    return match if !local_file
+    '**will be re-uploaded to esa.io**' if dry_run
+
+    # 再アップロード
+    resp = client.upload_attachment(local_file)
+    return local_file unless resp.status == 200
+
+    resp.body['attachment']['url']
+  end
+end

lib/converter.rb

@@ -0,0 +1,45 @@
+require_relative './base_converter'
+
+class Converter < BaseConverter
+  private
+
+  def post_params(content)
+    group_category = content['groups'].map{ |g| g['name'] }.join('-')
+    category = "DocBase"
+    category += "/#{group_category}" if group_category.length > 0
+
+    body_md = <<~EOT
+      url: #{content['url']}
+      created_at: #{content['created_at']}
+      user: #{content['user']['name']}
+
+
+      #{reupload content['body']}
+    EOT
+
+    {
+      name:     content['title'],
+      category: category,
+      tags:     content['tags'].map{ |tag| tag['name'] },
+      body_md:  body_md,
+      wip:      content['draft'],
+      message:  '[skip notice] Imported from DocBase',
+      user:     screen_name_for([content['user']['name']])
+    }
+  end
+
+  def comments_params(comment_content)
+    body_md = <<~EOT
+      created_at: #{comment_content['created_at']}
+      user_id: #{comment_content['user_id']}
+
+
+      #{reupload comment_content['encrypted_comment']}
+    EOT
+
+    {
+      body_md: body_md,
+      # user:    screen_name_for([comment)content['user']['name']])
+    }
+  end
+end

lib/importer.rb

@@ -0,0 +1,59 @@
+require 'pp'
+require 'json'
+require 'esa'
+require_relative './converter'
+
+class Importer
+  def initialize(config)
+    @config     = config
+    @json_files = Dir.glob File.expand_path(File.join(config['json_dir'], '*.json'))
+  end
+  attr_reader :config, :json_files
+
+  def import(dry_run: true, start_index: 0)
+    converter = Converter.new(dry_run: dry_run, client: client, config: config, screen_names: screen_names)
+
+    json_files.sort_by { |file| File.basename(file, '.*').to_i }.each.with_index do |file, index|
+      next unless index >= start_index
+
+      content = JSON.parse(File.read(file))
+      params = converter.convert(content)
+
+      if dry_run
+        puts "***** index: #{index} *****"
+        pp params
+        puts
+        next
+      end
+
+      print "[#{Time.now}] index[#{index}] #{params['name']} => "
+      response = client.create_post(params[:post])
+      case response.status
+      when 201
+        puts "created: #{response.body["full_name"]}"
+      else
+        puts "failure with status: #{response.status}"
+        exit 1
+      end
+
+      post_number = response.body['number']
+      params[:comments].each do |comment_param|
+        client.create_comment(post_number, comment_param)
+      end
+    end
+  end
+
+  private
+
+  def client
+    @client ||= Esa::Client.new(
+      access_token: config['esa_access_token'],
+      current_team: config['esa_team_name'],
+      api_endpoint: config['esa_api_endpoint']
+    )
+  end
+
+  def screen_names
+    @screen_names ||= client.members(per_page: 100).body['members'].map{ |m| m['screen_name'] }
+  end
+end