Podejście Shopify do wykorzystania częstego osadzania i grupowania w celu poprawy wyjaśnialności danych

Podejście Shopify do wykorzystania częstego osadzania i grupowania w celu poprawy wyjaśnialności danych

Shopify niedawno wdrożyło a Blog technologiczny Informacje o niektórych wewnętrznych procesach uczenia maszynowego dotyczących uzyskiwania bardziej przydatnych informacji na podstawie sygnałów klientów. Jednym z głównych wyzwań dla każdej firmy internetowej jest uzyskanie praktycznych wniosków z danych na potrzeby podejmowania decyzji. Shopify dzieli się swoją metodologią i wiedzą specjalistyczną, aby rozwiązać ten problem, agregując różnorodne zbiory danych za pomocą unikalnej metody, która obejmuje redukcję wymiarowości, redundancję i nadzorowane uczenie maszynowe. Takie podejście daje solidne wyniki i zapewnia lepszy wgląd i interpretację. Pomaga badaczom użytkowników i badaczom danych pogłębić wiedzę, ulepszyć rozwiązania i wydajniej iterować do ostatecznego rozwiązania. Dodatkowo metoda ta zawiera warstwę interpretacyjną, która ułatwia walidację wyników na potrzeby komunikacji z interesariuszami. Poniższy diagram ilustruje tę metodę wysokiego poziomu.

Kompleksowy schemat przepływu pracy

Na podstawie wpisu na blogu autor zaproponował metodę składającą się z 4 prostych kroków:

  1. Spraw, aby dane były łatwe do zarządzania.
  2. Zbierz to.
  3. Zrozum to (i oczekuj tego).
  4. Komunikuj się na ten temat.

Pierwszym krokiem w tym procesie jest znalezienie sposobu na wizualizację danych w celu lepszego zarządzania nimi. Głównym wyzwaniem jest to, że w praktyce musimy radzić sobie z danymi wielowymiarowymi. Jednym z praktycznych podejść jest zastosowanie technik redukcji wymiarowości, takich jak analiza głównych składowych lub… PCA. Głównym wyzwaniem stojącym przed PCA jest to, że w wielu przypadkach nie wszystkie informacje można przedstawić w dwóch wymiarach. Autor zasugerował zastosowanie najnowszych technik aproksymacji i rzutowania ujednoliconej rozmaitości UMAP Zamiast PCA Główna różnica między PCA i UMAP polega na tym, że UMAP jest metodą projekcji, która zachowuje lokalne i globalne podobieństwo punktów w dolnym wymiarze i jest nieliniowa w porównaniu z PCA. Spowoduje to uchwycenie nieliniowych relacji między danymi. Jako przykład autor pokazał różnicę w wynikach podczas stosowania Mnist (Zmodyfikowany zbiór danych Narodowego Instytutu Norm i Technologii). MNIST ma 784 wymiary reprezentujące zapisane liczby od 0 do 9 Następujące liczby Pokaż różnice.

Kiedy już zwizualizujemy dane i uzyskamy wstępny rozeznanie, musimy stworzyć pewne znaczące grupowania. Jak wspomniano w artykule, dla ułatwienia wyjaśnienia grupa ta powinna posiadać następujące cechy:

  1. Punkt należy do bloku, jeśli blok istnieje.
  2. Jeśli potrzebujesz parametrów dla swojej grupy, uczyń je intuicyjnymi.
  3. Grupy muszą być stabilne, nawet jeśli zmienią się kolejność danych lub warunki początkowe

Wiele algorytmów grupowania, np K-oznacza I HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) istnieje w tym obszarze. HDBSCAN wykorzystuje podejście hierarchiczne, które łączy metody grupowania z metodami DBSCAN w celu utworzenia solidniejszych i znaczących klastrów. Obszerne eksperymenty przeprowadzone w Shopify udowodniły, że HDBSCAN konsekwentnie zapewnia wyraźniejsze i stabilniejsze wyniki.

W dążeniu do głębszego zrozumienia zachowań grupowych niezbędne staje się rekurencyjne zastosowanie technik grupowania. Ten iteracyjny proces pozwala na lepszy wgląd w złożoną dynamikę w grupach. Następnie, po wygenerowaniu wystarczającej liczby klastrów, zastosowanie ma zastosowanie technik nadzorowanych, w szczególności klasyfikacji. Ustalone metodologie klasyfikacji, m.in XGBoostmoże być stosowany jako model „jeden dla wszystkich” dla każdej grupy.

Co więcej, połączenie młody człowiek Zwiększa to interpretowalność i wyjaśnia podstawowe motywacje w każdej grupie. To podwójne podejście, łączące HDBSCAN do wstępnego grupowania i późniejszej klasyfikacji za pomocą XGBoost, wzmocnione przez SHAP pod kątem interpretacji, stanowi kompleksową metodologię uzyskiwania głębokiego wglądu w zachowania różnorodnych grup.

Na ostatnim etapie istnieje potrzeba przekazania wyników grupie zajmującej się analizą danych i innym zainteresowanym stronom oraz powtórzenia procesu, aby w razie potrzeby uzyskać ostateczne rozwiązanie.

Podobną metodologię z powodzeniem zastosowano także w innych dyscyplinach, np Wykrywanie anomalii w danych dotyczących zdrowia.

Wielu inżynierów zajmujących się uczeniem maszynowym uważa tę pracę za ekscytującą. Jak ktoś skomentował na LinkedIn Udostępnij tę pracę :

Umap i Shap to prawdziwe rewolucje i istotne elementy zaawansowanych przepływów pracy analitycznych

READ  Nadchodzący iPad Pro firmy Apple z bezprzewodowym ładowaniem i szklanym tyłem: raport

Randolph Howe

„Zła entuzjasta podróży. Irytująco skromny ćpun internetu. Nieprzepraszający alkoholiczek”.

Rekomendowane artykuły

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *