��������� ������� �� ������������ ����� ��� ������, ��� ������� ������������ ��� ���������� ������� �������� ������ (large language model, LLM). ���������� ������ ����� ������� ����������� ������ �� �������� � ����� ��������� ��������, ������� �� ������ Google �� ����������� ������-���. ������ ������ LLM-������� ��� ������ �� ������������, ��� ��������� �������� ��� "������ � ���" � �������� �������� ������ �����������, ����������� ����������, ������ � �������������� ��������� ���������� ����������� � �.�. ��������� �� ������������ �������, ��� ��� ������ ����� ����� ���� ������� ����� ���������� �������������� ��������, ���������� ��������� ����� ������ � ���������� �������� ������. �� ��� �� ��� �� ����� ����? ��� �� ��� �������� �������� ������������ ������ ����������?

������� ������� �� ������������ ���� ������� ���������� ����������� DeepMind, ������������� �������� Alphabet, ������������� ���������� �������������� ����������. ��� ����� ���� ��������� ������� �������� ������ ��� ��������� Gopher, ���������� ������������ ���������� ������� ����� 280 ����������. � ���� ����� ������ ������ Gopher ����������� ������ OpenAI GPT-3 (175 ���������� ����������), �� ����������� ������ Megatron (530 ���������� ����������), ������������� ����������� �������� Microsoft � Nvidia.

� ������� �������������� ���������� ������ ������, ��� ������ ������� ��������� ����� ���������� ������ ������������������ � �������� �����������. ����������� DeepMind ����������� ��� ��� ������ ������ Gopher �� �������� ���������������� �������, ����� ��� �������� ������, ������ ������ � �������������. ������ ���� ��������, ��� ��������� ��������, ���������� ����������� � �������� �������, ��� �� ����������� ��������� � ���-�� �������, ������ ������� ���������� ���������, �������������� �������� � ���������� ������.

"�� �����, ��� ������ ����� ��������� �������, �������� � ������� ����� ���������� ��������� �����" - ����� �������������, - "��� ���������� ������, ��� � ����� ������ ����������� ������� ��������� ����, ��� ��� ������ � ������������. ����� ����, � ��������� ������� ������ ����� ��������� ����������� � ���������������� ����������� � ������ ������ ������ ��������������� �������������� �������������".

� ���������� ���� ������� ����������� DeepMind ������ ����� ����, ��� ��� �������� ��������� ������ Gopher � ��������� ������� 150 ������ �� ��������� �������� �������. ��� ���� ���� ��������, ��� �������� ������ ������������� � ������ ��������� ������, � ����� ������������ ���������� (����� 80 ��������� ����������� ������) ���� �������� ��� ������ ������ � ����������� ��������� ����������� ����������.

����� �������� �������� ������ LLM-�������, ������������� � ����� ������ ����������� �������������� ��������, � �������� ����� ����� ����������� ��� ������ ������������� ������������� ���� �������. ���� ����������� �������� ��������� "����������" �����, ������ ������� ������������� � ������ ����, ������� ����� ���� ������������ ��� �������� ����� � ����������, � �������. ��� ������� ����� ������� ������ ������ ��������, ���� ��������� ������� �������������� ���������� ��� ������ �������� �������������� � ���� ���-�����, ������� �� �������� � �.�.

"�������� �� �� ����� ������������ ���������� ����� ������������ �� �������, ��� �������������� �������� ������ ������ � �������� ������� ������ �� ������������� ��������� ��������� ����" - ����� �������������, - "� ������������ �������� �������� �������� ����� ������ �������� �������� �� � ����������, � ������� � ��������� ������. � ������ ����� �������� ����������� ���������� �� �������� �������� ���������� �������� ������� ����������� ��� � ����� ��������� �������".