haker Przetestowałem pięć botów AI pod kątem problemów z kodowaniem z Leetcode.com – GPT-4, GitHub Co-Pilot, Bard, Bing i Claude+.
Istnieje kilka interesujących komentarzy na temat mocnych i słabych stron każdego z nich – i oczywiście kodu, który ostatecznie tworzą. Ostateczne wyniki?
[GPT-4’s submission] Przechodzi wszystkie testy. Przewyższył 47% transmisji w czasie wykonywania i 8% w pamięci. GPT-4 jest bardzo wszechstronny w generowaniu kodu dla różnych języków programowania i aplikacji. Niektóre zastrzeżenia dotyczą dłuższego czasu oczekiwania na odpowiedź. Korzystanie z interfejsu API jest również droższe, a koszty mogą szybko się sumować. Ogólnie rzecz biorąc, otrzymałeś poprawną odpowiedź i zdałeś test.
[Bing’s submission] Przeszedł wszystkie testy. Przewyższył 47% transmisji w czasie wykonywania i 37% w pamięci. Ten kod wygląda na znacznie prostszy niż ten wygenerowany przez GPT-4. Przewyższa GPT-4 w pamięci i zużywa mniej kodu! Bing wydaje się mieć jak dotąd najbardziej wydajny kod, jednak bardzo krótko wyjaśnił, jak go rozwiązać. Nadal najlepsze.Ale zarówno Bard, jak i Claude + nie zdali testu zatwierdzenia (źle), podczas gdy GitHub Copilot „przeszedł wszystkie testy. Uzyskał wynik lepszy niż 30% zatwierdzeń w czasie wykonywania i 37% w pamięci”.
„Zła entuzjasta podróży. Irytująco skromny ćpun internetu. Nieprzepraszający alkoholiczek”.
