repository_id int64 151k 1.22B | full_name stringlengths 7 82 | description stringlengths 3 820 ⌀ | stars int64 1 13.6k | language stringclasses 87
values | license stringclasses 21
values | readme stringlengths 101 512k | readme_length int64 101 512k | fetched_at stringdate 2026-07-10 19:45:08 2026-07-10 21:19:58 |
|---|---|---|---|---|---|---|---|---|
89,571,184 | bailicangdu/vue2-manage | A admin template based on vue + element-ui. 基于vue + element-ui的后台管理系统基于 vue + element-ui 的后台管理系统 | 13,631 | Vue | GPL-2.0 |
# About
此项目是 vue + element-ui 构建的后台管理系统，是后台项目[node-elm](https://github.com/bailicangdu/node-elm) 的管理系统，所有的数据都是从服务器实时获取的真实数据，具有真实的注册、登陆、管理数据、权限验证等功能。
__注：项目预览地址和接口需要使用https访问哦！__
# 说明
> 如果对您对此项目有兴趣，可以点 "Star" 支持一下 谢谢！ ^_^
> 或者您可以 "follow" 一下，我会不断开源更多的有趣的项目
> 开发环境 macOS 10.12.4 nodejs 6.10.0
> 如有问题请直接在 Issu... | 1,574 | 2026-07-10T19:45:08.893963 |
226,668,668 | nomi-sec/PoC-in-GitHub | 📡 PoC auto collect from GitHub. ⚠️ Be careful Malware. | 7,906 | null | "# PoC in GitHub\n\n## 2026\n### CVE-2026-0013 (2026-03-02)\n\n<code>In setupLayout of PickActivity.(...TRUNCATED) | 511,555 | 2026-07-10T19:45:10.970607 | |
265,579,053 | fuzhengwei/itstack-demo-design | ":art: 《重学Java设计模式》是一本互联网真实案例实践书籍。以落地解决方(...TRUNCATED) | 6,776 | Java | Apache-2.0 | "# 重学 Java 设计模式\n\n> **作者：** 小傅哥，Java Developer，[:pencil2: 虫洞 · 科(...TRUNCATED) | 12,724 | 2026-07-10T19:45:12.683244 |
15,055,717 | youtube/api-samples | "Code samples for YouTube APIs, including the YouTube Data API, YouTube Analytics API, and YouTube L(...TRUNCATED) | 6,006 | Java | "api-samples\n===========\n\nCode samples for YouTube APIs, including the YouTube Data API, YouTube (...TRUNCATED) | 217 | 2026-07-10T19:45:14.359552 | |
149,310,214 | graphql-editor/graphql-editor | 📺 Visual Editor & GraphQL IDE. | 6,069 | TypeScript | MIT | "<p align=\"center\">\n <img src=\"assets/logo.gif\">\n</p>\n<h3 align=\"center\">Graph sorcery, th(...TRUNCATED) | 10,210 | 2026-07-10T19:45:16.347279 |
742,154,114 | notthehiddenwiki/NTHW | Not The Hidden Wiki - The largest repository of links related to cybersecurity | 2,035 | null | NOASSERTION | "# Not The Hidden Wiki\n\n<p align=\"center\">\n <img src=\"https://raw.githubusercontent.com/notth(...TRUNCATED) | 27,126 | 2026-07-10T19:45:18.365432 |
3,842,065 | jakubnabrdalik/gitkurwa | "A sample project containing usefull verbose aliases, for those who feel lost and angry at git. Basi(...TRUNCATED) | 1,750 | Shell | WTFPL | "# Przydatne obecnie aliasy:\n\n### LENIWE WERSJE STANDARDOWYCH KOMEND\n\n###### checkout\n git c(...TRUNCATED) | 5,472 | 2026-07-10T19:45:20.142622 |
259,037,916 | varadbhogayata/varadbhogayata.github.io | My Portfolio - Personal Website | 1,515 | HTML | MIT | "# Personal Portfolio ⚡️ \n> A clean, beautiful, responsive portfolio template for Software Deve(...TRUNCATED) | 2,760 | 2026-07-10T19:45:21.857384 |
639,817,091 | ProjektyUstaw/Ustawy-o-PIT | null | 878 | null | "# Ustawy o PIT\n\n## Pobierz najnowsze wersje PDF ustaw\n\n* [Podstawowe założenia projektu – p(...TRUNCATED) | 2,046 | 2026-07-10T19:45:23.693512 | |
14,984,085 | BottegaIT/ddd-leaven-v2 | "DDD-CqRS sample v2.0 project that helps you with starting out advanced domain modeling using Spring(...TRUNCATED) | 879 | Java | NOASSERTION | "ddd-leaven-v2\n=============\n\nDDD-CqRS sample v2.0 project that helps you with starting out advan(...TRUNCATED) | 2,270 | 2026-07-10T19:45:25.417519 |
End of preview. Expand in Data Studio
Polish GitHub README Corpus — Polskie README z repozytoriów GitHub
Korpus polskojęzycznych plików README z repozytoriów GitHub, wygenerowany z GitHub API na podstawie klasyfikacji językowych datasetu github/multilingual-repositories (CC0-1.0).
Statystyki
| Metryka | Wartość |
|---|---|
| Repozytoria (klasyfikacja PL) | 209,519 |
| Pobrane README (90 min scrape) | 2,313 |
| Po deduplikacji i filtrowaniu | 2,203 |
| Znaki | 10,825,412 |
| Słowa | 1,201,709 |
| Tokeny (szac.) | ~1,622,307 (1.62M) |
| Średnia długość README | 4,913 znaków |
Pola
| Pole | Typ | Opis |
|---|---|---|
repository_id |
int | ID repozytorium na GitHubie |
full_name |
string | Pełna nazwa (owner/repo) |
description |
string | Opis repozytorium |
stars |
int | Liczba gwiazdek |
language |
string | Główny język programowania |
license |
string | Licencja (SPDX) |
readme |
string | Pełny tekst README |
readme_length |
int | Liczba znaków README |
fetched_at |
string | Data pobrania (ISO 8601) |
Przetwarzanie
- Pobranie datasetu
github/multilingual-repositories(sparse checkout, ~1.3 GB Parquet). - Filtrowanie po
lang_code='PL', konsensus ≥2 klasyfikatorów, confidence >0.5. - Sortowanie po liczbie gwiazdek (najlepsze repozytoria pierwsze).
- Pobieranie metadanych i README przez GitHub API (token PAT, 5000 req/h).
- Deduplikacja po
repository_id. - Filtrowanie README < 100 znaków.
- Redakcja PII (numery telefonów →
[PHONE], emaile →[EMAIL], numery PESEL →[PESEL]). - Zapis processed JSONL + quality report.
Audyt jakości
- PII (przed redakcją): 610 telefonów, 422 emaile, 32 PESEL → zredagowane
- Duplikaty: 44 usunięte
- Odfiltrowane (<100 chars): 66
- Werdykt: Obiecujący, gotowy do dalszej ewaluacji
Licencje repozytoriów (top 10)
| Licencja | Liczba |
|---|---|
| None | 1,216 |
| MIT | 465 |
| GPL-3.0 | 174 |
| NOASSERTION | 103 |
| Apache-2.0 | 79 |
| AGPL-3.0 | 41 |
| GPL-2.0 | 32 |
| BSD-3-Clause | 17 |
| CC0-1.0 | 12 |
| LGPL-3.0 | 11 |
Główne języki programowania (top 10)
| Język | Liczba |
|---|---|
| Python | 358 |
| None | 288 |
| JavaScript | 211 |
| PHP | 148 |
| HTML | 142 |
| Java | 134 |
| TypeScript | 134 |
| Jupyter Notebook | 117 |
| C++ | 110 |
| C# | 96 |
Licencja
Pliki README w repozytoriach GitHub podlegają licencjom poszczególnych repozytoriów (patrz pole license). Dataset klasyfikacyjny github/multilingual-repositories jest na licencji CC0-1.0 (domena publiczna).
Pipeline
Kod pipeline: C:/Users/Hipek/CascadeProjects/multilingual-repositories/
filter_pl.py— filtrowanie polskich repozytoriów z datasetu Parquet (DuckDB).scrape_gh.py— pobieranie README przez GitHub API z retry logic, rate limiting, time limit, auto-processing.
- Downloads last month
- -