Orchestrator Update

[karamolegkos]

Orhcestrator needs updates to do the below:

• Expose Execution time for every analysis
• Bootstrap Data Toolkit Variables to Analytics
• Update for the new Spark and Diastema Data Analytics.
• Use the AutoML feature

[karamolegkos]

For the AutoML the below will happen:

Το container του AutoML προτείνω να χρησιμοποιεί τα παρακάτω environment variables:

MINIO_HOST=<minio host>
MINIO_PORT=<minio port>
MINIO_USER=<minio user>
MINIO_PASS=<minio pass>

Τα παραπάνω variables θα πρέπει να χρησιμοποιούνται μέσα από τον κώδικα όπως φαίνεται παραδειγματικά σε αυτό το link:
https://github.com/DIASTEMA-UPRC/orchestrator/blob/main/diastema-orchestrator/orchestrator/MinIO_Class.py

Στο service θα πρέπει να υπάρχουν δύο endpoints.
Πρώτο endpoint

• POST: /automl
• JSON BODY (As an example):

{
  "minio-input" : "bucket/path/to/folder/of/input",
  "ml-task" : "classification" | "regression" | "clustering",
  "job-id" : "23s876sd53",
  "column" : "the-column-to-be-used",
  "parameters" : {
      "max-trials" : (int),
      "meta-learning" : (boolean),
      # More parameters that are gathered by the Web Application
  }
}

Δεύτερο endpoint

• GET: /automl/progress?id=23s876sd53
• Αυτό το endpoint θα πρέπει να απαντάει με ένα από τα παρακάτω JSONs

1. Σε περίπτωση ολοκληρωμένου AutoML job

{
  "status" : "complete",
  "exec-speed" : (int in milliseconds),
  "results" : ["εδώ", "θα", "βάλουμε", "τα", "εξαγόμενα", "αποτελέσματα"]
}

2. Σε περίπτωση εκτελεσόμενου AutoML job

{
  "status" : "progress"
}

3. Σε περίπτωση μη φυσιολογικά τερματισμένου AutoML job

{
  "status" : "error",
  "message" : "This is the error that happened in the AutoML job. A user friendly message so we can debug it better."
}

[karamolegkos]

Also added the two new algorithms for the clustering jobs.

[karamolegkos]

Για το νέο update θα αναμένω να γίνει σχετική συζήτηση από το εσωτερικό UPRC meeting. Αυτή η αναμονή θα γίνει για να συμφωνηθούν οι τελικές αλλαγές ώστε να μην χρειάζεται να γίνεται συνεχώς update του Orchestrator. Προσθέτοντας και στην συνέχεια αφαιρώντας ήδη υλοποιημένα features επιτόπου.

[karamolegkos]

Γίνεται progress για να ολοκληρωθεί το Orchestor Service με βάση τις προδιαγραφές που έχουν συζητηθεί.

[karamolegkos]

TODO

Only regression is ready from the below:

• Impliment No Algorithm Logic
• Impliment Data Toolkit usage
• Impliment AutoML calling - With Dummy Parts as well

[karamolegkos]

Currently Testing the service.

[karamolegkos]

Tested. Moving to Integration.

[karamolegkos]

Untill now there does not seem to be any problems regarding this service.
Καθώς περνάνε όλα τα υπόλοιπα σχεδόν τα components από πάνω του, το αφήνω στο testing και θα ολοκληρωθεί όταν ολοκληρωθούν πρώτα όλα τα υπόλοιπα components.