Faculty Crawler

核心数据

一句话： 爬取全球 128 所高校 CS/EE 院系教师名单，抓取个人主页研究文本，并映射为统一研究方向标签。

核心 CSV： data/public/faculty_public.csv

这是对外发布用的精简数据集（9,784 人），只保留四列：

列名	说明
university	学校
teacher	教师姓名
homepage	个人主页 URL
normalized_research_tags	标准化研究方向标签（; 分隔，可能为空）

当前规模：8,931 人有主页，2,300 人有标签。数据说明见 data/public/README.md。

---

Core Dataset (English)

In one sentence: Crawl CS/EE faculty from 128 universities, extract research text from public homepages, and map faculty to standardized research tags.

Core CSV: data/public/faculty_public.csv

Public release file with four columns: university, teacher, homepage, normalized_research_tags.

---

流水线

学校教师名单        ->  faculty.csv              （内部）
教师主页二次抓取    ->  faculty_profiles.csv     （内部）
关键词 taxonomy 打标 ->  faculty_tagged.csv       （内部）
发布版导出          ->  data/public/faculty_public.csv  ★ 对外使用这一份

重新生成核心 CSV

python main.py -c config_top100.json   # 阶段 1：爬名单
python fetch_profiles.py               # 阶段 2：抓主页文本
python tag_profiles.py                 # 阶段 3：打标签
python export_public.py                # 阶段 4：导出发布版

---

Pipeline (English)

python main.py -c config_top100.json
python fetch_profiles.py
python tag_profiles.py
python export_public.py

Internal artifacts are written under output/ and are git-ignored.

---

项目结构

data/public/faculty_public.csv   # ★ 发布用核心数据
export_public.py                 # 从 tagged 数据导出发布版
main.py                          # 阶段 1：名单爬虫
fetch_profiles.py                # 阶段 2：主页抓取
tag_profiles.py                  # 阶段 3：标签匹配
data/taxonomy.yaml               # 36 个标准研究方向 + 别名词典
scraper/                         # 核心库
tests/                           # 解析器与 tagger 测试

---

环境要求

Python 3.10+，需安装 PyYAML（读取 taxonomy.yaml）。名单爬虫 HTTP 部分使用 Python 标准库。

License

• 代码：MIT（见 LICENSE）
• 数据：来自各高校公开网页，转载前请自行确认相关使用条款