Licencjonowane zestawy danych tekstowych do szkoleń LLM i AI
Uzyskaj licencję na gotowe do użycia korpusy tekstowe do szkoleń LLM, NLP i generatywnej sztucznej inteligencji — konwersacyjne pytania i odpowiedzi, kod, wiadomości, dane kliniczne, akademickie i wielojęzyczne, dostosowane do Twojego projektu.
Licencjonowane zestawy danych tekstowych do szkoleń LLM i NLP
Katalog danych tekstowych Shaipa zapewnia zespołom AI gotowe do licencjonowania zbiory danych tekstowych do trenowania, dostrajania i ewaluacji dużych modeli językowych (LLM) i systemów przetwarzania języka naturalnego. Obejmuje osiem kategorii. Każdy zbiór danych pochodzi z materiałów rzeczywistych i może być dostosowany do Twojego projektu.
Katalog zawiera zestawy danych z pytaniami i odpowiedziami oraz instrukcjami w języku angielskim i arabskim, obejmujące współczesny standardowy język arabski oraz dialekty saudyjski, emiracki, egipski i lewantyński. Zawiera również repozytorium kodów w dziewięciu językach programowania, z których kilka posiada pełną historię żądań ściągnięcia (pull request) i zatwierdzania (commit). Dla modeli bieżących wydarzeń i RAG dostępne są zestawy danych z wiadomościami w języku angielskim, hiszpańskim i arabskim, w tym archiwum 975 000 artykułów, sięgające 1999 roku. Zespoły zajmujące się sztuczną inteligencją w służbie zdrowia mogą korzystać z klinicznych zestawów pytań i odpowiedzi oraz przypadków , dostępnych w zestawach złotym i srebrnym, z włączoną deidentyfikacją.
Do wstępnego treningu dostępne są surowe teksty i korpusy internetowe , w tym korpus arabski o objętości 20 milionów słów. Zeskanowane korpusy dokumentów wspierają sztuczną inteligencję i ekstrakcję informacji. Teksty akademickie i wydawnicze obejmują dwanaście tematów z zakresu nauk ścisłych i inżynierii, a scenariusze rozrywkowe obejmują filmy, telewizję, animacje i mikrodramaty.
Każdy zbiór danych jest objęty przejrzystymi zasadami licencjonowania i kontroli jakości. Dostępne są próbki, dzięki którym możesz ocenić zbiór danych przed zakupem. Przejrzyj kategorię poniżej lub skontaktuj się z nami, aby omówić niestandardowe gromadzenie danych tekstowych.
Zestawy danych do pytań i odpowiedzi konwersacyjnych oraz instrukcji
Te zestawy danych zawierają pary pytań i odpowiedzi autorstwa ludzi oraz podpowiedzi w stylu instrukcji w języku arabskim i angielskim, obejmujące współczesny standardowy język arabski, a także dialekty saudyjski, emiracki, egipski i lewantyński. Zestawy specyficzne dla danej dziedziny obejmują STEM, żywność i rolnictwo. Wspierają one dostrajanie, udoskonalanie i ocenę modeli językowych, w których istotne jest pokrycie dialektów regionalnych i wiedza ugruntowana kulturowo.
Zestawy danych repozytorium kodu i oprogramowania
Bazy kodu produkcyjnego zaczerpnięte z rzeczywistego, dostarczonego oprogramowania w językach C#, React, TypeScript, Angular, Java, Go, PHP, Swift i BrightScript. Kilka wpisów zawiera pełną historię pull requestów i commitów, pokazującą zmiany w kodzie podczas weryfikacji. Obsługują one model uzupełniania kodu, generowania kodu, rozumienia kodu i weryfikacji kodu, a repozytoria są dostępne do oceny przed uzyskaniem licencji.
Zestawy danych tekstów informacyjnych i dziennikarskich
Profesjonalnie napisane i zredagowane artykuły prasowe dużej międzynarodowej organizacji informacyjnej, dostępne jako cykliczny kanał w języku angielskim, hiszpańskim i arabskim oraz jako archiwum 975 000 artykułów opublikowanych od 1999 roku. Każdy artykuł opatrzony jest podpisem autora, datą, nagłówkiem, treścią i tagami tematu. Są one odpowiednie do trenowania modeli bieżących wydarzeń, generowania rozszerzonego wyszukiwania oraz zadań rozumowania temporalnego.
Pytania i odpowiedzi kliniczne oraz zestawy danych przypadków
Zestawy pytań i odpowiedzi medycznych, podsumowania przypadków klinicznych i pełnotekstowe artykuły medyczne do szkoleń i ewaluacji modeli zorientowanych na opiekę zdrowotną. Dostępne są złote i srebrne zbiory danych, przy czym te pierwsze są przygotowane zgodnie z wyższymi standardami weryfikacji w celu przeprowadzenia analizy porównawczej. W przypadku gdy materiał źródłowy zawiera dane osobowe lub chronione informacje zdrowotne, redagowanie, usuwanie danych osobowych i maskowanie są objęte zakresem współpracy.
Surowy tekst i korpusy w skali sieciowej
Obszerne korpusy tekstów źródłowych, podpowiedzi i skryptów syntezy mowy, obejmujące współczesny standardowy język arabski i dialekty regionalne, w tym korpus źródłowy o objętości 20 milionów słów. Wspierają one wstępne trenowanie modeli językowych oraz rozszerzanie zakresu słownictwa i dialektów w modelach, które dobrze radzą sobie z MSA, ale słabo radzą sobie z mówionymi wariantami regionalnymi.
Korpusy dokumentów i zeskanowanych tekstów
Zeskanowane dokumenty i ustrukturyzowane formularze z prawdziwego świata dostarczane w formacie PDF, w autentycznych układach i jakości skanu, a nie w syntetycznych renderach. Obsługują one sztuczną inteligencję dokumentów (IDS), przetwarzanie języka naturalnego z wykorzystaniem technologii OCR oraz ekstrakcję informacji, szczególnie w przypadku dokumentów o strukturze klucz-wartość i tabelarycznych, gdzie układ ma tyle samo znaczenia, co sam tekst.
Zestawy danych tekstów akademickich i wydawniczych
Pełnotekstowe książki i artykuły z czasopism licencjonowane od wydawcy akademickiego i dostarczane za pośrednictwem API, obejmujące dwanaście obszarów tematycznych z zakresu nauk fizycznych i inżynierii – astronomię, biomedycynę, budownictwo, elektrotechnikę i elektronikę, energetykę, przemysł, materiałoznawstwo, mechanikę, nanotechnologię, fizykę, naukę o polimerach oraz zarządzanie bezpieczeństwem. Są one dostosowane do wstępnego szkolenia naukowego i technicznego oraz wyszukiwania w recenzowanych materiałach źródłowych.
Scenariusz rozrywkowy i tekst narracyjny
Scenariusze produkcyjne, transkrypcje i teksty narracyjne zaczerpnięte z bogatego katalogu produkcji rozrywkowych, obejmującego filmy fabularne, programy telewizyjne, animacje i mikrodramaty, w gatunkach: dramatycznym, komediowym, science fiction, westernowym, akcji, kryminalnym, romansowym, thrillerowym i religijnym. Wspierają one generowanie narracji i dialogów, modelowanie formatu scenariusza oraz uzgadnianie scenariusza ze sceną.
Często Zadawane Pytania (FAQ)
1. Czym są zbiory danych tekstowych do trenowania sztucznej inteligencji?
Zbiory danych tekstowych do szkolenia sztucznej inteligencji to starannie wyselekcjonowane zbiory tekstów pisanych, takich jak pary pytań i odpowiedzi, instrukcje, artykuły, kod, dokumentacja kliniczna, książki i skrypty, wykorzystywane do wstępnego trenowania, dostrajania i oceny dużych modeli językowych (LLM) i systemów przetwarzania języka naturalnego. Katalog danych tekstowych Shaip oferuje gotowe do licencjonowania zbiory danych w ośmiu kategoriach, z których każda pochodzi z materiałów rzeczywistych.
2. Jakie typy zbiorów danych tekstowych oferuje Shaip?
Katalog obejmuje osiem kategorii: zestawy danych z pytaniami i odpowiedziami w formie konwersacji oraz zestawy danych z instrukcjami, zestawy danych z repozytoriami kodów i oprogramowania, wiadomości i teksty dziennikarskie, kliniczne zestawy danych z pytaniami i odpowiedziami oraz przypadki, surowe teksty i korpusy w skali sieci, korpusy zeskanowanych dokumentów, teksty naukowe i wydawnicze oraz scenariusze rozrywkowe i teksty narracyjne.
3. Jakie języki i dialekty są objęte?
Zestawy danych są dostępne w języku angielskim, arabskim i hiszpańskim. Zakres języka arabskiego obejmuje współczesny standardowy język arabski, a także dialekty saudyjski, emiracki, egipski i lewantyński, co pomaga modelom, które dobrze radzą sobie z językiem MSA, ale mają problemy z mówionymi wariantami regionalnymi.
4. Jakie przypadki użycia sztucznej inteligencji obsługują te zestawy danych?
Do typowych przypadków użycia należą: wstępne szkolenie LLM, dostrajanie i dostrajanie instrukcji, ocena i testowanie modeli, generowanie wspomagane wyszukiwaniem (RAG), uzupełnianie i przeglądanie kodu, sztuczna inteligencja w opiece zdrowotnej, sztuczna inteligencja dokumentów i ekstrakcja informacji oraz generowanie dialogów i scenariuszy.
5. Czy mogę ocenić zbiór danych przed uzyskaniem licencji?
Tak. Próbki lub dostęp do ewaluacji można uzyskać przed udzieleniem licencji na zbiór danych, aby Twój zespół mógł sprawdzić ich dopasowanie, format i jakość. Skontaktuj się z nami, przedstawiając swój przypadek użycia, aby poprosić o próbkę z odpowiedniej kategorii.
6. W jaki sposób przetwarzane są dane wrażliwe, takie jak PII i PHI?
W przypadku gdy materiał źródłowy zawiera dane osobowe lub chronione informacje dotyczące zdrowia, jak np. dane kliniczne, w ramach współpracy uwzględniane są redagowanie, anonimizacja i maskowanie, aby dane spełniały wymagania dotyczące prywatności i zgodności.
7. Jaka jest różnica między złotymi i srebrnymi zbiorami danych?
Złote zbiory danych są przygotowywane zgodnie z wyższym standardem weryfikacji i najlepiej nadają się do benchmarkingu i ewaluacji. Srebrne zbiory danych przechodzą standardową weryfikację i dobrze nadają się do szkoleń na większą skalę, gdzie objętość ma większe znaczenie.
8. Czy zbiory danych można dostosowywać lub rozszerzać?
Tak. Zestawy danych można dostosować do Twojego projektu pod kątem języka, domeny, wolumenu lub formatu. Jeśli katalog nie obejmuje tego, czego potrzebujesz, Shaip może zebrać i opatrzyć adnotacjami niestandardowe dane tekstowe zgodnie z Twoimi specyfikacjami.
9. Jakie opcje licencjonowania są dostępne?
Zakres licencji jest ustalany dla każdego projektu w oparciu o zbiór danych, jego objętość, planowane zastosowanie i czas trwania. Niektóre zbiory danych, takie jak treści informacyjne, są dostępne zarówno jako cykliczne źródło danych, jak i jednorazowy korpus archiwalny.
10. W jaki sposób dostarczane są zbiory danych?
Sposób dostarczania zależy od zestawu danych. Dostępne opcje to pliki strukturalne, pliki PDF dla zeskanowanych dokumentów, cykliczne kanały informacyjne oraz dostarczanie treści akademickich i wydawniczych za pośrednictwem API. Format dostarczania można dostosować do swojego procesu szkoleniowego.
11. Ile kosztują zbiory danych tekstowych?
Cena zależy od kategorii, wolumenu, wyłączności i warunków licencji. Podziel się swoimi wymaganiami z naszym zespołem, a my przygotujemy wycenę dopasowaną do Twojego projektu.
12. Jak zacząć?
Przejrzyj kategorię odpowiadającą Twojemu przypadkowi użycia, a następnie skontaktuj się z Shaip, podając swoje wymagania. Nasz zespół udostępni szczegóły dotyczące zbioru danych, przygotuje próbki i określi zakres licencji dla Twojego projektu.
