Мазмұнға өту

DALL-E

Уикипедия — ашық энциклопедиясынан алынған мәлімет
DALL-E
скриншоты
Сайттың түрі

нейрондық желі

Иесі

OpenAI Foundation

Авторы

OpenAI Foundation

Ашылған уақыты

5 қаңтар 2021 жыл

DALL-E — Microsoft компаниясының қаржылық қолдауымен OpenAI әзірлеген нейрондық желі,[1] ол ағылшын тіліндегі мәтіндік сипаттамалар негізінде жоғары сапалы бейнелерді генерациялауға қабілетті.[2][3] Бірқатар БАҚ пен деректерді талдау саласындағы сарапшылардың пікірінше, бұл нейрондық желі нейрондық желілер саласында елеулі серпіліс жасады.[4][5][6][7]

Тарихы

2019 жылы OpenAI жасанды интеллект саласындағы инновациялық технологияларды әзірлеу үшін Microsoft компаниясынан 1 млрд АҚШ доллары көлемінде грант алды.[1] GPT-3 моделін бейнелерді генерациялауға бейімдеп қолданған нейрондық желінің алғашқы нұсқасы қауымдастыққа 2021 жылғы 5 қаңтарда таныстырылды.[4][8]

2022 жылғы 6 сәуірде DALL-E 2 таныстырылды.[3][9] Бағдарламаның жаңа нұсқасында фотореалистік бейнелер жасауға мүмкіндік беретін алгоритмдер жетілдірілді, сондай-ақ қолданба жұмыс істеп тұрған кезде өзгерістер енгізуге мүмкіндік беретін редактор енгізілді.[10] Нейрондық желінің жұмыс үлгісін Cosmopolitan журналы көрсетті, ол DALL-E 2 жүйесін өз басылымдарының бірінің мұқабасын жасау үшін пайдаланды.[11]

2023 жылғы 21 қыркүйекте OpenAI DALL-E 3 нұсқасын таныстырды. Ол ChatGPT-мен интеграцияланған, сұраныстарды дәлірек түсінуге және анағұрлым егжей-тегжейлі бейнелерді генерациялауға қабілетті. Жүйе 2023 жылғы қазаннан бастап ChatGPT Plus және Enterprise ақылы жазылымдары аясында, сондай-ақ API арқылы қолжетімді болды.[12]

2024 жылғы сәуірде OpenAI DALL-E 2 қызметінің тоқтатылатынын жариялады, алайда іс жүзінде сервис қыс соңында-ақ жұмысын доғарған болатын.[13]

Архитектура

DALL-E деректерді түсіндіру және солардың негізінде бейнелерді генерациялау үшін 12 миллиард параметрі бар GPT-3 моделін қолданады.[5][8] GPT-3 моделінің өзі OpenAI тарапынан 2018 жылы трансформер архитектурасына негізделген терең нейрондық желілер ретінде әзірленген.[14] Осылайша, DALL-E интернет деректері арқылы оқытылған, 12 миллиард параметрі бар GPT-3 моделінің мультимодальды іске асырылуы болып табылады.[15]

Осылайша, DALL-E алдымен сұранысқа жауап ретінде бейнелерді генерациялайды, ал CLIP (Contrastive Language-Image Pre-training) дербес модель ретінде алынған бейнелерді «танып», оларды саралап, реттейді.[4][5] CLIP моделінің өзі 400 миллион бейне мен мәтін жұбында оқытылған, соның арқасында ол сұранысқа неғұрлым сәйкес келетін бейнелерді анықтап, қолда бар нәтижелерді мәтіндік сипаттамаға ұқсастығы дәрежесі бойынша орналастыра алады.[8]

Сипаттамасы және ерекшеліктері

DALL-E бейнелерді әртүрлі визуализация түрлерінде генерациялауға қабілетті, фотошынайылықтан бастап суреттер мен эмодзилерге дейін, сонымен қатар өз бейнелеріндегі нысандарды жылжытып, түрлендіре алады.[9] Оның жасаушылары атап өткен қабілеттерінің бірі жаңа композицияларда дизайн элементтерін нақты нұсқауларсыз дұрыс орналастыруы болды: «Мысалы, одан тұмауратып тұрған, латте ішіп отырған немесе бір доңғалақты велосипедпен жүріп келе жатқан дайкон редисін салу сұралғанда, DALL-E көбіне орамалды, қол мен аяқтарды нанымды орындарға орналастырады».[16] Жасанды интеллект саласындағы реализм мен серпіліс фактісін Input,[17] NBC,[18] Nature,[19] Wired,[20] CNN[21] және BBC[22] сияқты беделді басылымдар атап өтті. Мамандар үшін ерекше қызығушылық тудырған жайттардың бірі жасанды интеллекттің визуалдық ойлау дағдыларының кейбір элементтерін меңгеруі болды, соның арқасында ол адамдардың интеллектін бағалау үшін әзірленген Рейвен тестінен өте алды.[23]

DALL-E әртүрлі сипаттағы бейнелерді жасауға арналған тұрақты әрі аса сенімді нейрондық желі ретінде сипатталады[6]. CNBC үшін жасаған репортажында Сэм Шхед бейнелерді «қызықты» деп атап, Кембридж университетінің машиналық оқыту профессоры Нил Лоуренстің сөзін келтіреді. Лоуренс бұл жүйені «осы модельдердің біздің әлем туралы ақпаратты сақтап, оны адамдар үшін табиғи болып табылатын тәсілдермен жалпылай алу қабілетінің шабыттандыратын көрінісі» деп бағалаған.

Шхед сондай-ақ Джорджия технологиялық институтының Интерактивті есептеулер техникалық мектебінің доценті Марк Ридлдің пікірін келтіреді. Оның айтуынша, DALL-E демонстрациясының нәтижелері жүйенің «тұжырымдамаларды үйлесімді түрде біріктіруге қабілетті екенін» көрсеткен және «DALL-E демонұсқасы соңғы бірнеше жылда көрген басқа Text2Image жүйелеріне қарағанда әлдеқайда тұтас әрі байланысқан иллюстрациялар жасауымен ерекшеленеді».[24] BBC те Ридлдің «жүйенің не істей алатынына қатты әсерленгенін» келтіріп жазады.[22]

Әдебиеттер

  • Jens Knappe: Genesis. A Creation Story in Cooperation with an Artificial Intelligence, Berlin 2022, ISBN 978-3-940948-45-8.

Дереккөздер

  1. 1 2 Microsoft Invests In and Partners with OpenAI to Support Us Building Beneficial AGI (ағыл.). OpenAI. (22 маусым 2019). Басты дереккөзінен мұрағатталған 7 қараша 2020. Тексерілді, 4 шілде 2022.
  2. ↑ Nicolás Rivero The best examples of DALL-E 2’s strange, beautiful AI art (ағыл.). QUARTZ. (11 маусым 2022). Басты дереккөзінен мұрағатталған 5 шілде 2022. Тексерілді, 4 шілде 2022.
  3. 1 2 OpenAI доработала нейросеть DALL-E: теперь она генерирует картинки по текстовому описанию и редактирует уже готовые (орыс.). vc.ru. (7 сәуір 2022). Басты дереккөзінен мұрағатталған 5 шілде 2022. Тексерілді, 4 шілде 2022.
  4. 1 2 3 Will Douglas Heaven This avocado armchair could be the future of AI (ағыл.). MIT Technology Review. (5 қаңтар 2021). Басты дереккөзінен мұрағатталған 5 қаңтар 2021. Тексерілді, 4 шілде 2022.
  5. 1 2 3 Coldewey, Devin OpenAI’s DALL-E creates plausible images of literally anything you ask it to (ағыл.). TechCrunch. (5 қаңтар 2021). Басты дереккөзінен мұрағатталған 6 қаңтар 2021. Тексерілді, 4 шілде 2022.
  6. ↑ Jordan Novet A.I. software called DALL-E turns your words into pictures (ағыл.). CNBC. (18 маусым 2022). Басты дереккөзінен мұрағатталған 5 шілде 2022. Тексерілді, 4 шілде 2022.
  7. ↑ Gary Marcus, Ernest Davis, Scott Aaronson A very preliminary analysis of DALL-E 2. — Cornell University, 1 қаңтар 2022. — doi:10.48550 Мұрағатталған 2022-07-05 ж.
  8. 1 2 3 Khari Johnson OpenAI debuts DALL-E for generating images from text (ағыл.). VentureBeat. (5 қаңтар 2021). Басты дереккөзінен мұрағатталған 5 қаңтар 2021. Тексерілді, 4 шілде 2022.
  9. 1 2 Jeremy Kahn Move over, Photoshop: OpenAI just revolutionized digital image making (ағыл.). Fortune. (6 сәуір 2022). Басты дереккөзінен мұрағатталған 10 сәуір 2022. Тексерілді, 4 шілде 2022.
  10. ↑ Hope Corrigan Photographer uses DALL-E 2 AI to automatically edit images better than Photoshop (ағыл.). PC Gamer. (1 шілде 2022). Басты дереккөзінен мұрағатталған 5 шілде 2022. Тексерілді, 4 шілде 2022.
  11. ↑ Gloria Liu The World’s Smartest Artificial Intelligence Just Made Its First Magazine Cover (ағыл.). Cosmopolitan. (21 маусым 2022). Басты дереккөзінен мұрағатталған 3 шілде 2022. Тексерілді, 4 шілде 2022.
  12. ↑ OpenAI представила новую версию генератора изображений DALL-E 3 (орыс.). Коммерсантъ. (29 қыркүйек 2023). Тексерілді, 25 қыркүйек 2023.
  13. ↑ OpenAI отключила генератор картинок DALL-E 2 (орыс.). Hi-tech Mail.ru. (19 сәуір 2024). Басты дереккөзінен мұрағатталған 23 сәуір 2024. Тексерілді, 24 сәуір 2024.
  14. ↑ Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya Improving Language Understanding by Generative Pre-Training // OpenAI., 1 қаңтар 2018. Мұрағатталған 2021-02-05 ж.
  15. ↑ S. Dent OpenAI's DALL-E app generates images from just a description (ағыл.). Engadget. (6 қаңтар 2021). Басты дереккөзінен мұрағатталған 27 қаңтар 2021. Тексерілді, 4 шілде 2022.
  16. ↑ Thom Dunn This AI neural network transforms text captions into art, like a jellyfish Pikachu (ағыл.). BoingBoing. (10 ақпан 2021). Басты дереккөзінен мұрағатталған 22 ақпан 2021. Тексерілді, 4 шілде 2022.
  17. ↑ Mehreen Kasana This AI turns text into surreal, suggestion-driven art (ағыл.). Input. (1 шілде 2021). Басты дереккөзінен мұрағатталған 29 қаңтар 2021. Тексерілді, 4 шілде 2022.
  18. ↑ Melanie Ehrenkranz Here's DALL-E: An algorithm learned to draw anything you tell it (ағыл.). NBC. (28 қаңтар 2021). Басты дереккөзінен мұрағатталған 20 ақпан 2021. Тексерілді, 4 шілде 2022.
  19. ↑ Emma Stoye Tardigrade circus and a tree of life — January’s best science images (ағыл.). Nature. (5 ақпан 2021). Басты дереккөзінен мұрағатталған 8 наурыз 2021. Тексерілді, 4 шілде 2022.
  20. ↑ Will Knight This AI Could Go From ‘Art’ to Steering a Self-Driving Car (ағыл.). Wired. (26 қаңтар 2021). Басты дереккөзінен мұрағатталған 21 ақпан 2021. Тексерілді, 4 шілде 2022.
  21. ↑ Rachel Metz A radish in a tutu walking a dog? This AI can draw it really well (ағыл.). CNN. (8 қаңтар 2021). Басты дереккөзінен мұрағатталған 1 шілде 2022. Тексерілді, 4 шілде 2022.
  22. 1 2 Jane Wakefield AI draws dog-walking baby radish in a tutu (ағыл.). BBC. (6 қаңтар 2021). Басты дереккөзінен мұрағатталған 2 наурыз 2021. Тексерілді, 4 шілде 2022.
  23. ↑ Markowitz, Dale Here's how OpenAI's magical DALL-E image generator works (ағыл.). TheNextWeb. (23 ақпан 2021). Басты дереккөзінен мұрағатталған 23 ақпан 2021. Тексерілді, 4 шілде 2022.
  24. ↑ Sam Shead TECH Why everyone is talking about an image generator released by an Elon Musk-backed A.I. lab (ағыл.). CNBC. (8 қаңтар 2021). Басты дереккөзінен мұрағатталған 16 шілде 2022. Тексерілді, 4 шілде 2022.