K210. Общая тема по микроконтроллеру. Теория.

Kendryte K210 - это система на кристалле (СнК или SoC), которая объединяет машинное зрение и машинный слух. Использована технология изготовления кристаллов 28-нм, это усовершенствованный процесс фирмы TSMC со сверхнизким энергопотреблением. Содержит двухъядерный 64-разрядный процессор, для повышения производительности,  энергоэффективности, стабильности и надёжности. Система СнК стремится к разработке с "нулевым порогом" и может быть развёрнута в продуктах пользователя в кратчайшие сроки, обеспечивая искусственный интеллект продукта. Kendryte K210 предназначен для рынков AI и IoT, но также является высокопроизводительным MCU.

Kendryte по-китайски означает исследование интеллекта. Основная область применения этой микросхемы микроконтроллера - это IoT "Интернет вещей". Микросхема предоставляет решения искусственного интеллекта, чтобы добавить интеллектуальности при помощи следующих решений и возможностей:

• Машинное зрение.
  
  
• Машинный слух.
  
  
• Лучшая скорость и точность обработки изображений с низким энергопотреблением.
  
  
• Высокопроизводительный аппаратный ускоритель свёрточной нейронной сети (CNN), KPU.
  
  
• Усовершенствованный процесс TSMC, 28 нм, диапазон температур от -40 ° C до 125 ° C.
  
  
• Поддержка шифрования "прошивки".
  
  
• Уникальный программируемый массив ввода-вывода обеспечивает максимальную гибкость конструкции.
  
  
• Низкое напряжение, меньшее энергопотребление по сравнению с другими системами с такой же вычислительной мощностью.
  
  
• Поддержка двойного напряжения ввода-вывода 3,3 В/1,8 В устраняет необходимость в преобразователях уровня.
  

Kendryte K210 с возможностями машинного зрения является встроенным решением машинного зрения с нулевым порогом. Он может выполнять вычисления свёрточной нейронной сети (CNN) с низким энергопотреблением.

Возможности:

• Обнаружение объекта.
  
  
• Классификация изображений.
  
  
• Обнаружение и распознавание лиц.
  
  
• Получение размеров и координат цели в реальном масштабе времени.
  
  
• Получение типа обнаруженной цели в реальном масштабе времени.
  

Kendryte K210 поддерживает аппаратный слух. Микросхема поставляется с высокопроизводительным аудиопроцессором микрофонного массива для ориентации источника и формирования луча в реальном масштабе времени.

Возможности:

• Определение ориентации источника звука.
  
  
• Визуализация звукового поля.
  
  
• Формирование луча.
  
  
• Пробуждение голосом.
  
  
• Распознавание речи.
  

Kendryte K210 сочетает в себе машинное зрение и машинный слух, чтобы обеспечить ещё более мощные функции. Совместное использование локализации источника звука, и формирования изображения звукового поля, могут использоваться, чтобы помочь машинному зрению отслеживать цель, а общее обнаружение цели может определять ориентацию цели и затем помогать системе выполнять формирование луча источника. Кроме того, направление человека можно получить с помощью изображения, передаваемого с камеры, так что решётка микрофонов направляется на человека посредством формирования луча. В то же время направление речи может быть определено в соответствии с набором микрофонов, а камера поворачивается, чтобы указывать на человека.


Микросхема K210 включает два 64-битных ядра CPU RISC-V, каждое из которых имеет встроенный независимый FPU.


Основными функциями микросхемы K210, являются машинное зрение и слух, которые включают KPU для вычисления свёрточных нейронных сетей (CNN) и APU для обработки входных сигналов массива микрофонов. Также микросхема K210 оснащена ускорителем быстрого преобразования Фурье БПФ (FFT) для высокопроизводительных сложных вычислений быстрого преобразования Фурье. В результате для большинства алгоритмов машинного обучения K210 обладает высокой вычислительной мощностью.

Микросхема K210 включает ускорители алгоритмов шифрования AES и SHA256, чтобы предоставить пользователям базовые функции безопасности.

K210 оснащён высокопроизводительной памятью SRAM с низким энергопотреблением и мощным модулем прямого доступа к памяти ПДП (DMA) для обеспечения высокоскоростной пропускной способности.

K210 имеет широкий спектр периферийных устройств: DVP, JTAG, OTP, FPIOA, GPIO, UART, SPI, RTC, I²S, I²C, WDT, таймер и PWM, для различных применений в самых разнообразных областях.




...