Как искусственный интеллект расшифровывает древние свитки для самостоятельного изучения английского языка стр. 3

0:00

We always think about the potential of AI changing the future.

Мы всегда думаем о том, как ИИ может изменить будущее.

0:05

But what about the potential of AI changing the past?

Но как насчёт того, как ИИ может изменить прошлое?

0:09

My name is Youssef Nader.

Меня зовут Юсеф Надер.

0:10

I'm an Egyptian AI researcher

Я исследователь ИИ из Египта

0:12

and a PhD student at the Free University in Berlin,

и аспирант Свободного университета в Берлине.

0:16

and last year, I led the Vesuvius Grand Prize winning team

В прошлом году я возглавил команду победителей Гран-при «Везувий»,

0:21

on exploring this very question.

которая изучала именно этот вопрос.

0:24

You see, the story starts almost 2,000 years ago.

Эта история началась почти 2000 лет назад.

0:28

A Greek philosopher that we believe was Philodemus of Gadara

Греческий философ, по нашему убеждению, это был Филодем Гадарский,

0:32

sat in one of the many rooms of the Villa dei Papiri.

сидел в одной из многих комнат Виллы папирусов.

0:36

He talked about music, he talked about pleasure,

Он рассуждал о музыке, об удовольствиях,

0:39

he talked about what makes things enjoyable,

о том, что делает что-то приносящим удовольствие,

0:42

questions that still plague us until today.

о вопросах, которые беспокоят нас до сих пор.

0:45

One of his scribes wrote down his thoughts on sheets of papyrus.

Один из его писарей перенёс его мысли на листы папируса.

0:51

The sheets were rolled and stowed away for later generations.

Листы были свёрнуты и убраны для будущих поколений.

0:56

Fast-forward 150 years, ...

Перенесёмся на 150 лет вперёд...

1:00

Mount Vesuvius erupts,

В результате извержения Везувия

1:03

burying Herculaneum, the villa and the words of the philosopher

Геркуланум был погребён, вместе с виллой и словами философа,

1:07

under a sea of hot mud and ashes.

под слоем горячей лавы и пепла.

1:11

Now fast-forward again, to the 17th century.

А теперь снова перенесёмся в XVII век.

1:14

People are excavating around the area.

В этом районе ведутся раскопки.

1:17

They found beautiful statues, breathtaking frescoes

Там нашли красивые статуи, потрясающие фрески

1:22

and some weird-looking pieces of charcoal,

и несколько странных на вид кусков угля,

1:25

like you see in this picture.

вроде того, что вы видите на фото.

1:28

This is when the first scrolls were discovered,

Именно тогда были обнаружены первые свитки,

1:31

and people were racing to excavate more of these.

и люди бросились откапывать ещё больше таких же.

1:34

What knowledge is included that is not known to us now?

Какие знания заключены в них, о которых мы даже не подозреваем?

1:39

What things should we know about these scrolls?

Что нам нужно знать об этих свитках?

1:45

My name is Julian, and I am a digital archaeologist.

Меня зовут Джулиан, я цифровой археолог.

1:52

When the pyroclastic flow hit the scrolls, it had a destructive effect.

Когда пирокластический поток попал на свитки, он оказал разрушительный эффект.

1:59

It tore into them, shredded off pieces, and it charred them badly.

Он разрывал, измельчал на кусочки и сильно обугливал их.

2:06

Even the deformation that you can see happened at that point.

В этот момент произошла именно та деформация, которую вы видите.

2:11

People, 250-something years ago,

Людям 250 с лишним лет назад

2:15

were curious what's lying inside those scrolls,

стало интересно, что спрятано в этих свитках,

2:18

hidden and not accessible anymore.

скрыто и больше недоступно.

2:22

Because of a lack of technology,

Из-за отсутствия технологий

2:24

they had to resort to physically unrolling

им пришлось физически разворачивать их,

2:28

and thereby destroying most of the scrolls.

тем самым уничтожая большинство свитков.

2:32

To this day,

До наших дней

2:34

only the most damaged and deformed scrolls

только самые повреждённые и деформированные свитки

2:37

remain in their initial, rolled-up configuration.

сохранились в исходном свёрнутом виде.

2:42

Fast-forwarding a little bit, the computer age arrives.

Перенесёмся ещё немного вперёд. Наступила компьютерная эра.

2:46

Youssef and I are born.

Родились мы с Юсефом.

2:49

We are going on and getting our education --

Мы растём, получаем образование...

2:52

(Laughter)

(Смех)

2:54

and at the same time, Brent Seales, a researcher and professor,

И в это же время Бренту Силсу, исследователю и профессору,

3:00

had the idea to use CT scan technology to actually digitize the scrolls,

приходит в голову идея оцифровать свитки, использую компьютерную томографию

3:06

with the hope of, one day, digitally unrolling them.

с надеждой, что однажды получится развернуть их в цифровом виде.

3:12

Behind me, you can see a video of such a CT scan,

Позади меня видео такого КТ-сканирования,

3:16

and it goes through the CT scan 3D volume,

оно просматривает трёхмерный объём при помощи компьютерной томографии

3:19

layer by layer.

слой за слоем.

3:21

The papyrus is visible as a spiral,

Папирус виден как спираль,

3:25

and you can see it's tightly wound-up,

видите, как плотно он смотан,

3:27

sometimes touching each other, flaying off.

слои иногда касаются друг друга и повреждаются.

3:30

It's a difficult question, how to unroll this digitally.

Как развернуть всё это в цифровом виде — сложный вопрос.

3:35

Nat Friedman, a Silicon Valley investor,

Нат Фридман, инвестор Кремниевой долины,

3:38

also saw this research, and he wanted to help.

узнал об этом исследовании и захотел помочь.

3:42

That was in 2022.

Это было в 2022 году.

3:45

He reached out, and together with Brent Seales,

Он связался с Брентом Силсом,

3:48

they created the Vesuvius Challenge,

и вместе они придумали испытание «Везувий»,

3:51

with the goal to motivate nerds all over the world

целью которого было привлечь заучек со всего мира

3:54

to solve this problem.

к решению этой проблемы.

3:56

(Laughter)

(Смех)

3:58

They created a grand prize,

Они установили главный приз,

4:00

promising eternal glory and monetary incentives

пообещав вечную славу и денежное вознаграждение всем,

4:03

to anyone who could do that.

кто сможет это сделать.

4:05

(Laughter)

(Смех)

4:07

I myself saw that on the internet

Я узнал об этом из интернета,

4:09

while writing my master's thesis at ETH Zurich, in robotics,

когда писал диссертацию по робототехнике в Швейцарской технической школе Цюриха,

4:13

and I was instantly happy to solve it --

и с радостью решил бы эту задачу

4:17

or at least try, why not, you know?

или хотя бы попробовал, почему нет?

4:19

And I went on, joined the Discord community

И вот я вступил в сообщество в Discord,

4:23

where all the people that were also contestants

где все, кто тоже участвовал в испытании

4:26

and playing with the scroll data

и исследовал данные о свитках,

4:27

were exchanging ideas,

обменивались идеями,

4:29

and I joined there and started working on it.

и я тоже к ним присоединился и приступил к работе.

4:34

Also there, on Discord, I met Youssef and Luke [Farritor],

Там же, в Discord, я познакомился с Юсефом и Люком [Фарритором],

4:37

who would become my teammates,

мы стали командой,

4:39

and with whom I would actually win the grand prize.

и вместе с ними я в последствии выиграл главный приз.

4:42

Surprisingly, it went on, and made global headline news.

Удивительно, но это получило огласку и попало в заголовки мировых новостей.

4:46

It even got into the British tabloids.

Даже в британские таблоиды.

4:49

(Laughter)

(Смех)

4:52

So when we started,

Когда мы начинали,

4:53

there were two main problems still remaining.

были две основные проблемы.

4:57

One, you had to unroll the scroll.

Во-первых, нужно было развернуть свиток.

5:00

And two, you then had to make the ink visible.

А во-вторых, нужно было сделать чернила видимыми.

5:03

Youssef will tell you more about that part.

Юсеф расскажет об этом подробнее.

5:07

For me, the most exciting thing

Меня же больше всего волновала

5:09

was the computer-vision problem of unrolling those scrolls virtually.

проблема виртуального разворачивания свитков с помощью машинного зрения.

5:13

I decided to iterate on a tool

Я решил доработать инструмент,

5:15

that was created by the Kentucky researchers,

созданный исследователями из Кентукки,

5:18

and make it faster, less prone to errors

сделать его более быстрым, менее подверженным ошибкам,

5:22

and just iterate on it and make it better.

улучшить его.

5:25

The Vesuvius Challenge team saw that

Люди из команды «Везувия» увидели это

5:27

and also implemented a team of 10 people that would use my tool.

и собрали команду из 10 человек, которые пользовались бы моим инструментом.

5:32

They would annotate scroll data, like you see in this video,

Они аннотируют данные из свитка, как показано на этом видео,

5:36

where they created a red line where the surface would lie.

где они создают красную линию, на которой находится поверхность.

5:39

The algorithm then would take it into 3D space,

Затем алгоритм переносит данные в трёхмерное пространство

5:42

creating a three-dimensional representation of the surface.

и создаёт 3-D макет поверхности.

5:47

Computer algorithms

Компьютерные алгоритмы

5:48

would then flatten it and create a segment.

затем сплющивают его и создают сегмент.

5:51

This all would be called “segmentation”

Это назовут «сегментацией»

5:54

in the space of the scrolling and unrolling community.

в сообществе, которое занималось скруткой и раскруткой,

6:01

(Laughter)

(Смех)

6:06

So I created open-source commits to this tool

Для этого инструмента я создал коммиты с открытым исходным кодом

6:12

and implemented new algorithms from my studies, like Optical Flow,

и внедрил новые алгоритмы из моих исследований, такие как Optical Flow,

6:16

to better track the sheets through the volume,

чтобы лучше отслеживать содержимое листов по всему объему,

6:19

and we end up with something like what you see behind me.

и в итоге мы получили нечто похожее на то, что вы видите позади меня.

6:23

First off, those were really small segments,

Во-первых, это были очень маленькие сегменты,

6:26

and I added improvement,

и я внёс улучшения,

6:28

made the code faster

ускорил код

6:29

and had lots of feedback from the community.

и получил множество отзывов от сообщества.

6:32

They were really happy, and I was happy getting lots of feedback.

Они были очень довольны, а я был доволен множеством отзывов.

6:36

It was a really positive environment.

Атмосфера была очень позитивная.

6:39

So in the end,

В результате

6:41

I could track the performance of the algorithms,

я смог отслеживать производительность алгоритмов,

6:44

how the segmentation team performed,

как справляется команда сегментации,

6:46

and I could see that my improvements, from start to finish,

а также видеть, что мои доработки, от начала до конца,

6:50

would be around a 10,000-fold improvement over the initial version.

улучшили первоначальную версию примерно в 10 000 раз.

6:57

This algorithm was then also used to unroll all the area

Затем этот алгоритм использовали для раскрытия всей области,

7:01

that you can see in our submission.

которая была в нашей заявке.

7:03

All the sheets were generated with these methods.

Все листы были сгенерированы с помощью этих методов.

7:08

In December, I was looking for teammates.

В декабре я искал партнёров по команде.

7:11

I made a blog post,

Я написал пост в блоге

7:12

and I showcased my newest algorithms,

и показал мои новейшие алгоритмы,

7:16

reaching out to anyone that was willing to team up.

обратившись ко всем, кто хотел объединиться.

7:20

Youssef and Luke got into contact with me.

Юсеф и Люк связались со мной.

7:24

They were happy to team up, and I was happy as well.

Они были рады объединиться, я тоже был счастлив.

7:28

(Laughter)

(Смех)

7:30

So after the virtual unwrapping, the words still are not visible.

После виртуального развёртывания слов так и не было видно.

7:35

The main problem is that the ink that was used at the time

Проблема в том, что чернила, которыми тогда пользовались,

7:38

was a carbon-based ink,

делались на основе углерода,

7:40

and carbon-based ink on carbon-based papyrus in a CT scan

а такие чернила на углеродном папирусе при компьютерной томографии

7:43

isn’t visible, or at least [not] to the naked eye.

не видны, по крайней мере, невооружённым глазом.

7:47

So the same team at the University of Kentucky

Та же команда из Университета Кентукки

7:49

decided to test whether the ink was present at all

решила проверить, присутствовали ли вообще чернила

7:52

in the CT scans.

на компьютерной томографии.

7:53

For this, they took some of the pieces that people broke off the scrolls,

Для этого они взяли часть отколовшихся от свитков кусочков

7:58

and they fed them into the same pipeline of the X-ray CT scanning,

и отправили их в тот же конвейер рентгеновской КТ,

8:03

and this gives us the 3D data that we were working with.

и так мы получили трёхмерные данные, с которыми можно работать.

8:06

Because you can see the ink and it’s an exposed surface,

Поскольку чернила видны на открытой поверхности,

8:10

you can even improve it with infrared imaging.

их видимость можно улучшить инфракрасным изображением.

8:13

And this gives you a ground truth

Это даёт полное представление

8:14

of what letters you're actually trying to find.

о буквах, которые вы и пытаетесь обнаружить.

8:18

And then from there,

Из этой точки

8:19

you can train a machine-learning model to try to find these letters.

вы можете натренировать модель машинного обучения искать буквы.

8:23

The way this works

Работает это так:

8:25

is that the model looks at very small cubes at a single time

модель за один отрезок времени изучает очень маленькие кубики

8:28

and tries to decide whether there is ink present in this area or not.

и пытается определить, есть ли в этой области чернила.

8:32

And then, when you keep moving this cube all around,

Затем, когда вы перемещаете этот куб по всему периметру,

8:36

the model gets to see different data samples

модель видит разные образцы данных

8:39

and then tries to understand what ink actually is.

и пытается определить, что такое чернила на самом деле.

8:43

So this is how it looks while the model is training.

Вот как выглядит обучение модели.

8:46

It's not perfect, but you can see that, especially around the middle,

Это не идеально, но видите, особенно в середине,

8:50

the model is starting to see the letters perfectly.

модель начинает хорошо различать буквы.

8:53

So the data is there.

Итак, данные есть.

8:56

The ink is there.

Чернила есть.

8:57

But it’s just very hard to find and see.

Но найти и разглядеть очень сложно.

9:00

Looking at the CT scan raw data on the left here,

Посмотрите на необработанные данные компьютерной томографии слева,

9:05

you can see the fibers,

вы видите волокна,

9:07

you can see the structure of the papyrus,

видите структуру папируса,

9:10

but the letters are very, very faint.

но буквы очень и очень бледные.

9:13

The letters from the right image are very, very faint in the CT scans.

Буквы на изображении справа очень бледные на компьютерной томографии.

9:17

And they're actually, in this special case,

И на самом деле, в данном конкретном случае,

9:21

characterized by a difference of contrast

они характеризуются разницей в контрасте

9:23

and some speckles, freckles, features that are very hard to see.

и некоторыми пятнышками, точечками — чертами, которые очень трудно разглядеть.

9:28

So what happens if we try to take a look

Что же произойдёт, если мы попробуем

9:32

at the segment that Julian was just showing?

взглянуть на фрагмент, который показывал Джулиан?

9:36

So this is the data that we were working with.

Это данные, с которыми мы работали.

9:39

And I'm going to give you 10 seconds to try to find the letters yourself.

Я дам вам 10 секунд, попытайтесь сами найти буквы.

9:43

(Laughter)

(Смех)

9:44

And as a hint,

Подскажу:

9:46

I'll tell you that there are three letters in this image.

на этом изображении три буквы.

9:49

Believe me.

Поверьте мне.

9:52

Try to find some pattern, some crackle patterns,

Попробуйте найти какой-нибудь узор, какие-то трещины,

9:57

some cracks in there.

какие-то углубления.

9:59

If you were able to identify this pattern of these three letters --

Если вы смогли распознать узор из этих трех букв,

10:04

(Laughter)

(Смех)

10:06

then congratulations.

тогда поздравляю.

10:08

One year ago, you may have won 40,000 dollars.

Год назад вы могли бы выиграть 40 000 долларов.

10:10

(Laughter)

(Смех)

10:12

However, if you're like me, and you couldn't make sense of this,

Однако, если вы, так же как и я, не смогли ничего разобрать,

10:16

there's a different way that you can find this ink --

есть другой способ найти чернила,

10:18

one that actually scales very, very well.

тот, который на самом деле отлично масштабируется.

10:22

So this is where my journey begins with the Vesuvius Challenge.

Именно здесь начинается моё путешествие с испытанием «Везувий».

10:26

There is this neat idea in computer-vision literature

В книгах по машинному зрению есть интересная идея:

10:29

where if you don't actually have labels,

если у вас нет идентификаторов,

10:31

if you don't have the goal that you want your AI model to reach,

если нет цели, которую вы хотите поставить модели ИИ,

10:35

you can pick an intermediary goal along the way.

можно выбрать промежуточную цель.

10:38

So, looking at these two pairs of images,

Глядя на эти две пары изображений,

10:43

our eyes can identify that these are the same images,

наши глаза могут распознать, что это одни и те же изображения,

10:46

just flipped.

только перевёрнутые.

10:48

And we can do that because we understand

Мы это распознаём, потому что понимаем

10:51

the structures that are present in the images.

структуры, присутствующие на этих изображениях.

10:53

We can see this little triangle, and it's flipped,

Мы видим этот маленький треугольник, он перевёрнут,

10:56

so we know this is the same triangle.

и мы знаем, что это тот же треугольник.

10:58

Our eyes already have this feature,

В наших глазах эта функция уже есть,

11:01

but neural networks don't.

а в нейронной сети её нет.

11:04

When they see these images,

Когда она это видит,

11:05

they can't [tell] that these are the same image.

она не знает, что это — одно и то же изображение.

11:08

So one idea, just to let it know about the structures

Одна из идей, как рассказать ей о структурах

11:11

and familiarize it with the data,

и познакомить с данными, —

11:13

is to show it different views of the same image

это показать ей разные виды одного и того же изображения

11:16

and tell it that these are the same images.

и рассказать, что это одно изображение.

11:19

And after that, you take this model

После этого можно взять эту модель

11:22

and you train it like the previous models that the University of Kentucky did.

и обучить так же, как предыдущие модели, сделанные Университетом Кентукки.

11:26

And while the approach doesn't fully work, it also doesn't fully not work.

И хотя этот подход работает не идеально, он всё же работает.

11:31

And this was the first image that was produced by the model.

И это было первое изображение, созданное моделью.

11:34

And there was some very faint signal in there.

И там был очень слабый сигнал.

11:38

It seemed like the model was catching on something,

Казалось, что модель за что-то зацепилась,

11:40

but it wasn't clear, exactly, what the model was catching on.

но было непонятно, за что именно.

11:44

So I decided to take these predictions and create a new ground truth,

Поэтому я решил воспользоваться этими прогнозами и придумать новую истину,

11:51

asking the model, "Hey, I think these might be letters.

сказав модели: «Думаю, это могут быть буквы.

11:53

I think there's something in there. Try to find more of this."

Думаю, в этом что-то есть. Попробуй узнать больше».

11:57

And my ground truth, actually,

На самом деле, моя истина

11:59

has four correct letters and four other delusions.

состоит из четырёх правильных букв и четырёх заблуждений.

12:02

But that was OK.

Но это хорошо.

12:04

So training a new model with this data,

Обучившись на этих данных,

12:06

the model started to find more ink, find more letters,

модель начала находить больше чернил, находить больше букв,

12:09

and the lines even looked complete.

а линии даже выглядели законченными.

12:12

So I thought, "What are the chances that if I do this again,

И я подумал: «Какова вероятность того, что если я сделаю это снова,

12:16

the models keep improving?"

модели продолжат улучшаться?»

12:18

And this was the core behind our grand prize-winning solution.

Именно это и стало основой нашего решения, получившего Гран-при.

12:23

Repeating this process over and over, the models kept improving.

Повторяя этот процесс раз за разом, модели продолжали совершенствоваться.

12:28

The main trick was you needed to prevent the models from memorizing

Основная сложность была в том, чтобы не дать моделям запомнить то,

12:32

what the previous models have learned.

чему обучились предыдущие модели.

12:34

You're essentially asking the model to learn

По сути, вы просите модель выучить то,

12:36

what the other model has learned.

чему научилась другая модель.

12:38

So overfitting was a serious problem that required a lot of experiments.

Переобучение стало серьёзной проблемой, требующей множества экспериментов.

12:43

But in the end, getting the recipe right,

В итоге, правильно подобрав рецепт,

12:46

we were able to predict all of these letters

мы смогли спрогнозировать все эти буквы таким образом,

12:50

without the models ever seeing them.

что модели их даже не увидели.

12:52

These were the first 10 letters.

Это были первые 10 букв.

12:54

There are, like, 20 in there,

Здесь их, кажется, 20,

12:55

but this was the first coherent word read from an unopened papyrus sheet.

но это было первое связное слово, прочитанное с неразвёрнутого папируса.

13:02

From there, scaling the process,

Потом, масштабируя процесс,

13:04

within weeks, we had, now, columns of text,

течение нескольких недель, мы получили целые колонки текста,

13:07

even special characters

даже специальные символы,

13:09

that papyrologists found very interesting that the model was able to find.

папирологи сочли очень любопытным то, что модель смогла их найти.

13:14

The approach was open-sourced,

Исходном код был открытым,

13:15

and the data and the code were out there,

и данные, и код были выложены,

13:18

and the race for the grand prize was on.

гонка за Гран-при продолжилась.

13:21

Recovering four paragraphs at an 85-percent clarity.

Восстановление четырёх абзацев с четкостью в 85%.

13:25

And the key to our success was perfecting the data and the model

Ключом к нашему успеху стало усовершенствование данных и модели

13:29

with so many iterations and so many experiments.

с помощью множества попыток и экспериментов.

13:32

In the end, we were able to recover

В итоге нам удалось восстановить

13:34

more than 14 columns of text, and 2,000 letters.

более 14 столбцов текста и 2000 букв.

13:40

(Applause)

(Аплодисменты)

13:48

2,000 characters safely stored away two millennia ago.

2000 символов были надёжно сохранены два тысячелетия назад.

13:54

In just nine months, we discovered them again.

Всего за девять месяцев мы заново их раскрыли.

13:58

AI helped us, in large portions,

ИИ во многом помогал нам,

14:01

writing better code and even being part in our algorithms.

писал более качественный код и даже участвовал в наших алгоритмах.

14:06

It opened a window into the past.

Он открыл окно в прошлое.

14:09

What's next?

Что дальше?

14:10

Let's open this window more.

Давайте раскроем это окно ещё больше.

14:13

AI will help us access information that was so far safely locked away.

ИИ поможет нам добраться до информации, которая до сих пор была надёжно спрятана.

14:20

In the words of the author,

Цитируя автора:

14:24

"We do not refrain from questioning nor understanding,

«Мы не воздерживаемся от вопросов и понимания,

14:31

and may it be evident to say true things as they appear."

и пусть будет очевидным говорить истинные вещи такими, какими они кажутся».

14:39

(Applause)

(Аплодисменты)

Как искусственный интеллект расшифровывает древние свитки. Julian Schilliger and Youssef Nader - видеоролик

Просмотр видеоролика

Еще видеоролики с параллельными субтитрами