全国大学生物联网设计竞赛_乐鑫赛道

2.1 赛题任务

乐鑫为参赛者提供完整成熟的 AIoT 开发套件、物联网开发框架，丰富的开源软件代码和开放文档，以及繁荣的开发者生态，数以百万计的开发者贡献的网络资源将为你提供无尽的灵感与支持。

在生成式人工智能与边缘计算深度融合的智能化时代，如何将硬件终端的实时感知能力与云端大模型的认知决策能力相结合，成为推动物联网产业升级的关键。本次竞赛鼓励参赛者基于乐鑫 ESP32-S3 系列芯片的 AIoT 开发平台，结合云端大模型技术，打造具备场景理解、自主决策和持续进化能力的下一代智能家居系统，重点解决家庭场景中的个性化服务、无障碍交互与主动式关怀需求。

技术要求

• 必须使用 ESP32-S3 系列芯片作为核心控制器
• 至少实现 1 种传感器的数据融合
• 需对接至少 1 个大模型服务（如 LLM、多模态模型）
• 设备可以对大模型的指令做出反馈（下行）或大模型可接收处理除语音视频外的其他数据（上行）

创新维度

• 通过大模型实现多设备场景联动：
  • 多设备本地或通过云平台联动
  • 与智能家居云平台的融合：如通过 ESP RainMaker、HomeKit、米家等云平台控制现有家居智能产品
• 交互创新：如抛掷、触摸、靠近等交互方式
• 控制场景创新：未进行商业化或未成熟的全新应用场景，或解决现有应用的痛点
• 外观创新：如更精巧的 3D 结构、PCB 布局、产品造型等
• 私有化部署大模型：自行搭建大语言模型，完成设备的对接

重要提示：
为了帮助同学们快速了解如何使用乐鑫软硬件开发资源，我们制作了一些简单的应用实例，请见第 4 节

2.2 开发资源

本届赛题指定主控芯片为 ESP32-S3，该芯片集成 2.4 GHz Wi-Fi 和 Bluetooth 5 (LE) ，搭载 32 位双核处理器，主频高达 240MHz，支持 AI 加速，能够实现高性能的图像识别、语音唤醒和识别、HMI 触摸屏等应用。

乐鑫为本次大赛提供软硬件一体的开发资源。硬件上，每个参赛队伍可以在以下 3 组开发套件中选择 1 组进行开发，大赛主办方将为参赛队伍免费寄送硬件开发套件。软件上，乐鑫提供开源的操作系统和软件资源，访问 GitHub 链接即可使用相应 SDK。

重要提示：

• 乐鑫开发套件申领采取限量寄送模式，每组开发套件上标明了限量数，领完即止。
• 如果您需要的开发套件已被领完，或您需要更多的乐鑫开发板、模组以及其他组件完成作品，可以前往官方淘宝店铺“乐鑫科技 Espressif Online”和 “M5Stack 企业店铺”选购。

硬件资源（3 选 1）

• AtomS3R + Atomic Echo Base （屏幕+语音）
• AtomS3R CAM-M12 + Atomic Echo Base （语音+摄像头）
• ESP32-S3-DevKitC-1（核心板）

云端大模型

火山引擎

火山引擎为乐鑫赛题提供竞赛专项云应用额度，详情如下：

开通方式：

• 注册火山账户：点击注册
• 申请开通资源的问卷: 「乐鑫赛题」火山引擎云应用额度申请

其他云端大模型官方接入教程（不限以下）

• 首次调用通义千问API_大模型服务平台百炼(Model Studio)-阿里云帮助中心
• 星火认知大模型Web API文档 | 讯飞开放平台文档中心
• 推理服务API介绍 - ModelBuilder
• 首次调用 API | DeepSeek API Docs

2.3 开发环境

本次竞赛推荐使用 ESP-IDF v5.4。

ESP-IDF 是乐鑫官方的物联网开发框架，它基于 C/C++ 语言提供了一个自给自足的 SDK，方便用户开发通用应用程序。ESP-IDF 集成了大量的软件组件，拥有丰富的文档和示例资源。点此观看【乐鑫教程】｜使用一键安装工具快速搭建 ESP-IDF 开发环境 (Windows)。

重要提示：

• 极狐镜像：为了解决国内开发者从 GitHub 克隆仓库慢的问题，我们已将 ESP-IDF 和部分重要仓库及其关联的子模块镜像到了极狐仓库，这些仓库将自动从 GitHub 原始仓库同步。
• 除 ESP-IDF 以外，ESP32-S3 还支持 Arduino（搭建教程）等开发环境。同学们可以自行选择使用。
• 下方第 3 节中列明的软件资源需基于 ESP-IDF 使用，仅部分软件资源支持第三方开发环境，例如 ESP RainMaker、ESP-NOW。

乐鑫 2025 年物联网设计竞赛技术讲座

https://www.bilibili.com/video/BV1xNL2z8Eyo/?spm_id_from=888.80997.embed_other.whitelist&bvid=BV1xNL2z8Eyo

2.4 应用示例及相关资源

为了帮助同学们快速上手，我们提供了以下智能应用模型及参考资源链接。

应用示例

• ESP-SparkBot：大模型 AI 桌面机器人
  ESP-SparkBot 基于 ESP32-S3 芯片设计，是一款集语音交互、图像识别、遥控操作与多媒体功能于一体的智能机器人。它不仅可以通过语音助手实现大模型对话、天气查询、音乐播放等互动，还可以使用小度手机 APP 完成蓝牙配网、音色切换、音乐播放及其他智能服务。同时，ESP-SparkBot 内置加速度传感器，支持摇骰子和 2048 游戏等娱乐交互功能硬件方面，其磁吸式设计支持模块扩展，可轻松转换为遥控小车，实现摄像头实时传输和手机操控。此外，设备支持本地 AI 处理，可以运行人脸识别和动作检测功能。还可以通过投屏模块实现高清视频播放和游戏运行，展示强大的性能和多功能性。
• ESP-Spot：ESP32-S3 AI 语音交互核心模块
  ESP-Spot 是一款基于 ESP32-S3 / ESP32-C5 的 AI 动作语音交互核心模块，专注于语音交互、AI 感知与智能控制，适用于智能玩具、语音助手、家居控制等物联网应用场景。它不仅可以通过离线语音实现唤醒、AI 对话（默认使用 xiaozhi 平台）等功能，而且通过 ESP32-S3 自带的触摸/接近感应外设实现玩偶触摸感知，同时设备内置加速度传感器， 可以识别玩偶姿态与动作，从而实现更丰富的交互。
• 小智 AI 聊天机器人（Xiaozhi AI Chatbot）
  小智AI聊天机器人（Xiaozhi AI Chatbot）是基于 ESP32-S3 的大模型实时语音对话开源项目，已实现语音识别、自然语言处理和语音合成功能，支持多种开发板适配。截至目前，该项目在 GitHub 上获得了约 10k 颗星，和 1.8k fork。
  github ： 78/xiaozhi-esp32: Build your own AI friend

一、方案1：ESP32丐版（不支持唤醒需要搭配天问等）

模组一定是ESP32非8266，请核对模组盖的丝印封装，例如ESP12F 12E ESP01S等衍生产品均是8266，此类产品主要是用于AT配网联网等。

下列文档采于小智官方文档：

概述

小智AI丐版是一种使用早期版本ESP32开发板（非S3/C3）搭建的低成本AI聊天机器人解决方案。本文详细介绍了使用普通ESP32开发板搭建小智AI的全部步骤，包括硬件选择、接线方法、固件烧录和常见问题解决。相比使用ESP32-S3开发板，这种方案成本更低，适合入门用户体验。

ESP32开发板版本小智AI（丐版）

此ESP32非S3、C3系列，而是早期版本的ESP32系列开发板，基本上是4MB flash，没有外接PSRAM的开发板。俗称"丐版小智"或"畅玩版小智"，让你花一个S3开发板的价钱玩上小智。

关于ESP32系列的说明

支持的硬件

• 支持ESP32-S
• 支持ESP32-DevKitC
• 支持NodeMcu-32S
• 支持4MB SPI Flash（2MB暂不支持）
• 版本介绍: 群文件共享里提供，版本是向下兼容的，就是刷最新的也可以用纯丐版，即使没有高配版的配件

已支持的功能

1. 屏幕显示 - 已支持
2. 外接唤醒模组 - 已支持ASRPro模组（也可以选购其他的类似模组，代码上没有对模组做限制）
   • 外接唤醒模组的优点是可以有多种自定义唤醒词
   • 唤醒模组需要一个GPIO Pin，设置成输出模式+高电平
   • 对该Pin进行唤醒设置，1秒内的低电平脉冲，也就是小智的一个Click
   • 测试采用ASR-ProV1.0版本的唤醒模组，测试内容包括：自定义唤醒词，唤醒词打断，唤醒词回应
   • 此部分代码兼容其他型号的唤醒模组，没有限制模组型号
3. LCD支持 - 支持ST7789-1.3寸-7Pin / 8Pin插针款
   • 旋转方向代码设置，在工程的config.h文件里编译时设置
   • 7Pin的不需要旋转，8Pin需要
   • 8Pin的旋转参数参考：

     屏幕旋转度	DISPLAY_OFFSET_X	DISPLAY_OFFSET_Y	DISPLAY_SWAP_XY	DISPLAY_MIRROR_X	DISPLAY_MIRROR_Y
     0	0	0	false	false	false
     90	0	0	true	true	false
     180	0	80	false	true	true
     270	80	0	true	false	true

计划中的功能

1. 4G模组 - 已测试完成
2. TF卡支持 - 开发中
3. 蓝牙外接模块 - 计划中

硬件准备与接线说明

所需硬件

与标准ESP32-S3版本相比，丐版小智需要以下硬件：

• 面包板
• ESP32开发板（非S3/C3，如NodeMcu-32S或ESP32-DevKitC）
• 杜邦线
• MAX98357A功放
• 3020喇叭
• INMP441麦克风
• 可选：OLED屏幕、唤醒模组

这些组件在电商平台都能购买到，总成本约50-80元（不含4G模块等扩展配件）。

接线说明

注：下面的G跟开发板上的D其实是一样的

麦克风接线：

• WS → G25
• SCK → G26
• SD(DIN-代码里) → G32
• L/R → GND
• VDD → 电源 VCC 3.3V
• GND → GND

喇叭接线：

• DIN (DOUT-代码里) → G33
• BCLK → G14
• LRCK → G27
• GAIN → 不用接
• SD → 不用接
• GND → GND
• VIN → 电源 VCC 3.3V

0.96-OLED屏幕接线：

• GND → GND
• VCC → 电源 VCC 3.3V
• SCL → G15
• SDA → G4

按键连接：

• toggle模式按键 → G0 (不需要接，是开发板自带的boot按钮，有的写IO0)
• 长按对话模式按键 → G5

其他接线：

• IoT-Key(IoT的灯开关测试引脚) → G12
• ASR-Pro天问：
  • GND → GND
  • VCC → 电源 VCC 5V
  • PA_2 → G19

LCD屏幕接线：

• 参考ST7789-1.3寸屏幕布线表

固件烧录指南

烧录工具准备

使用ESP官方的Flash下载工具： 下载链接

烧录步骤

1. 打开官方的固件烧录软件flash_download_tool，选择Develop，点击OK
2. 选择需要的固件，地址设为0x0
3. 可以点击ERASE擦除之前的固件
4. 点击START开始上传固件

注意：烧录时最好不要将开发板插在已经接线的面包板上，以避免烧录错误。

更多烧录问题，请参考常见问题中的烧录问题。

ESP32编译指南

如果你想自己编译固件，请参考ESP-IDF开发环境搭建及编译小智进行编译环境搭建。编译过程与ESP32-S3版本类似，但需要在menuconfig中选择ESP32系列开发板。

常见问题

烧录出错/擦除失败

问题表现：烧录时报错或擦除失败 解决方法：不要把开发板插在面包板上进行烧录，开发板在烧录的时候应单独连接电脑。

网络连接问题

ESP32系列开发板的WiFi与ESP32-S3版本基本一致，如遇连接问题，请参考网络配置常见问题。

进阶方案

丐版直玩版介绍

小智AI-丐版直玩版具有以下特点：

• 无需面包板接线，ESP32老款开发板（非S3/C3）上手直插
• 兼容ESP32老款3种开发板：NodeMcu-32S/Goouuu-ESP32/ESP32-DevKit
• 可手持，板载自带电池充放电模块，使用14500电池
• 带3.5MM耳机接口，预留剩余IO引出
• 支持扩展：天问模块、OLED模块、4G模块、TFT彩屏模块

小智纯丐版仅需要MAX98357A功放、INMP441麦克风、喇叭和ESP32开发板即可使用。

更多详情请联系文章开头提供的联系方式。

二、方案2：ESP32-S3-N16R8（16M FLASH 8M PSRAM 主频240M）

本文详细介绍了搭建小智AI聊天机器人所需的硬件清单、组装步骤和接线方案，适合有一定电子基础的DIY爱好者参考。如果你想自己动手搭建一台小智AI，这份指南将为你提供详细的指导。

在码云之前发布过一套本地实现语音对话的方案（其中也有部分物料购买链接，详细见README.md）：02_Software/07_ai_chat/ai_chat · Ahy./mcu_esp32aiot - 码云 - 开源中国

DIY所需硬件清单

核心组件

• 开发板：ESP32-S3-DevKitC-1（推荐选择 WROOM N16R8 模组）
• 数字麦克风：INMP441
• 功放：MAX98357A
• 腔体喇叭：8Ω 2~3W 或 4Ω 2~3W
• 导线：跳线一盒，杜邦线若干
• 400孔面包板 2块
• 128x32 I2C(IIC)液晶显示屏，SSD1306驱动（推荐）
• ML307R Cat.1 4G模组，AT固件版（可选）
• 6*6mm立式轻触开关（可选）

辅助工具

除了核心组件外，你可能还需要以下工具：

• 万用表
• 电烙铁套件
• 钳子三件套
• Type-C数据线
• 用于烧录固件的PC

硬件详细说明

开发板（ESP32-S3-DevKitC-1）

尽量选择N16R8配置，即16MB Flash和8MB PSRAM的配置。N8R2配置需要进行额外设置：

• 把PSRAM的工作模式从OCTAL改为QUAD
• Flash大小改为8MB
• 自定义分区表改为partitions_8M.csv
• 重新编译固件

注意：部分开发板的RGB灯未接通，需要焊接灯座旁边的两个小焊点。建议购买时选择已接通RGB灯的版本。

MEMS数字麦克风（INMP441）

这是最小的电子元件，焊接难度较大。新手建议购买已焊接好的成品。自行焊接时注意：

• 不可以让引脚和半环形金属线接通
• 使用杜邦线接线时，不能把VDD和GND反接，否则容易烧坏（建议多买一个备用）

数字功放（MAX98357A）

建议购买已经焊接排针的成品，使用面包板连接。

腔体喇叭（8Ω 3W 或 4Ω 3W）

端子可自行选择或不要。

导线

如果使用杜邦线连接（不使用面包板），请额外购买几条1分2的分叉线（母线），用于麦克风和数字功放的短接，以解决开发板的电源3V3和接地GND排针接口不够用的问题。

面包板（推荐）

强烈建议使用面包板组装，否则电子元件多起来后容易混乱。推荐使用两块400孔面包板拼接，将开发板安装在中间，最大化利用面包板空间。

面包板基础知识：

• 面包板分区块，中间两个区块相同数字横向的每行是连通的（中间隔断除外）
• 正负红蓝线是竖向每列连通的（如有隔断除外）

OLED显示屏（可选）

购买时需确认使用SSD1306驱动，建议选择GND开头的新版OLED屏幕。

Cat.1 4G模块（ML307R，可选）

ML307R是中移物联推出的Cat.1物联网模块，DC版比DL版增加了OpenCPU SDK二次开发支持。购买时需确认是AT固件版本。

使用说明：

• 此模块用于连接4G移动数据网络，实现AI联网对话
• 适合户外等无WiFi环境使用
• 建议选择可插拔卡的模块，如经常使用可用手机副卡（模块自带的流量卡每月流量可能不够）

微动开关/按钮（可选）

使用6*6MM微动开关/轻触开关，在面包板上请岔开横行插入。新手建议使用2脚的直插按钮，避免短接引脚。

购买指南

购买渠道

在电商平台选购时，请注意：

• 部分电子元件可能未焊接引脚，可与商家沟通进行焊接或选择焊接好的商品
• 尽量选择信誉高、销量大、评价好的店铺
• 购买咨询和售后质量问题请自行与商家协商

电烙铁入门

如果你是新手，可以选择购买焊接好的版本，或先观看电烙铁入门教程再进行焊接，避免损坏电子元件。

推荐教程：小白的电烙铁使用入门

接线方案

ESP32-S3-DevKitC-1标准版（44 IO引脚）接线

此接线方案适用于小智AI聊天机器人固件版本 >=V0.3.0。

注意：如果不使用面包板，请使用1分2的分叉线解决电源3V3和接地GND排针接口不够用的问题。

麦克风接线（INMP441）

功放接线（MAX98357A）

喇叭接线

• 音频+ 接喇叭正极（一般红线）
• 音频- 接喇叭负极

OLED显示屏接线（可选）

4G模块接线（ML307R，可选）

按钮接线（0.4.1版本及以上）

注意：

• 如果使用MAX98357A的BGA封装版本（较小），可以不接GAIN_GND短线
• 请以表格引脚对照为准，预览图仅作外观参考
• 麦克风如果焊接反了（进声孔朝下，排针朝上），可参考群文件中的反接图

ESP32-S3-DevKitC-1果云版（42 IO引脚）接线

果云版与标准版的主要区别：

• 果云版少几个引脚，多了4个固定开孔
• 版本1左上方3V3供电口调整到左下方
• 版本2左边增加了GPIO19、GPIO20
• 版本1左边的GPIO13、GPIO14、5VIN对应调整到版本2右下方
• 版本2少了左右最下方的两个GND

但外部模块的引脚接线与标准版相同，使用相同固件。

高级接线知识

外接按键详解

音量调节

• 固件版本0.3.3新增音量调节按钮：GPIO40接按钮，另一端接地，按下增加音量，长按静音
• 固件版本0.4.1增加音量减少按钮：GPIO39接按钮，长按静音，之前的按钮长按变为最大音量

唤醒/中断

固件版本0.3.1以上支持按键唤醒和中断对话：

• 可使用开发板上的Boot按钮
• 或接GPIO0引脚，另一端接地
• 对话时按下可打断，再次按下可唤醒恢复

注意事项：外接按钮时不要直接在开发板上单行连接四脚开关，请错开成两行插接，避免引脚短接。

跳线颜色方案

建议的统一配色方案：

• VCC：红色和棕色
• GND：灰色和黑色
• 数字信号：咖啡色和橙色

这样可以避免正负极反接。

不同连接模式

小智AI支持两种连接模式：

Duplex模式

使用一个I2S控制器连接麦克风和功放，适合GPIO数量不多的开发板。

Simplex模式（默认）

使用I2S 0连接麦克风，I2S 1连接功放，比Duplex模式多使用两个GPIO。

默认配置使用Simplex模式，GPIO与电子元件引脚一对一关系，接线相对容易。MAX98357A的VIN引脚可接3.3V或5V。

液晶屏幕扩展

增加液晶屏幕可显示WiFi或4G信号强度：

4G模块扩展

注意：4G天线不能离麦克风太近（距离<3cm会有明显干扰）。最简处理方案是将天线粘贴在喇叭的模拟信号线上，远离麦克风。

4G模块需要5V电压供电。由于开发板只有5V VIN输入引脚，没有5V输出引脚，需要在LDO稳压器的近似5V引脚上引出电源。

故障排除

常见问题

1. RGB灯不亮 检查RGB灯旁边的两个焊点是否已接通。如未焊接，可先用导线接通，重启查看是否亮起。
2. 电路故障检查方法
   • 不接电源时：用万用表测试导线是否导通，如距离较远的两个GND引脚或两个3.3V引脚
   • 接电源后：检查GND与其他引脚电压是否在正常值范围
3. 接线完成后安全检查 完成接线后，建议使用万用表检查开发板和已安装电子元件上的GND与VCC(3.3V)之间是否有短路情况。确认无短路后，再接入USB电源。

隐藏接线提示

MAX98357和INMP441底部有隐藏接线，请特别注意检查。

三、方案3：米醋一号AIOT开发板（搭载了方案二的核心板，有动手能力的同学自行焊接）

开源地址：米醋·AIOT_Box_Lite - 立创开源硬件平台

对应的板子BSP包已发布至Ahy. (Ahypnis) - Gitee.com

四：方案4：官方支持的开发板（包含乐鑫赛道发放的板子，对应的BSP都在小智源码内，烧录即用，只需要集成传感器部分的，创新部分的代码）

• 立创·实战派 ESP32-S3 开发板
• 乐鑫 ESP32-S3-BOX3
• M5Stack CoreS3
• AtomS3R + Echo Base
• AtomMatrix + Echo Base
• 神奇按钮 2.4
• 微雪电子 ESP32-S3-Touch-AMOLED-1.8
• LILYGO T-Circle-S3
• 虾哥 Mini C3
• Moji 小智AI衍生版
• 璀璨·AI吊坠
• 无名科技Nologo-星智-1.54TFT
• SenseCAP Watcher