Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Common Crawl, web 'de gezinen ve arşivlerini ve veri kümelerini halka açık bir şekilde sağlayan; ABD federal yasalarına göre de vergiden muaf olan, 501(c)(3) tipi bir kâr amacı gütmeyen kuruluştur. Common Crawl , 2011'den beri toplanan petabaytlarca veriden oluşur. Genelde her ay taramaları tamamlar.
Common Crawl, tarafından kurulmuştur. Kâr amacı gütmeyen kuruluşun danışmanları arasında ve bulunmaktadır. Kuruluşun tarayıcıları nofollow ve robots.txt politikalarına uymaktadır. Common Crawl veri kümesini işlemek için açık kaynak kodu herkesin kullanımına açıktır.
Tarih
Amazon Web Services, 2012 yılında Açık Veri Kümeleri (İngilizce: Public Data Sets) programı aracılığıyla Common Crawl arşivini barındırmaya başladı.
Kuruluş, o yılın Temmuz ayında "" dosyalarının yanı sıra meta veri dosyalarını ve tarayıcıların metin çıktılarını yayınlamaya başladı. Common Crawl arşivleri daha önce yalnızca ".arc" dosyalarını içeriyordu.
Aralık 2012'de ; Şubat - Ekim 2012 arasında gerçekleştirilen aramaların metaverilerini Common Crawl'a bağışladı. Bağışlanan veriler, Common Crawl'un "spam, porno ve aşırı SEO'nun etkisinden kaçınıp, taramasını iyileştirmesine" yardımcı oldu.
2013 yılında Common Crawl, özel bir tarayıcı yerine Apache Yazılım Vakfının Nutch web tarayıcısını kullanmaya başladı. Common Crawl, Kasım 2013 taramasıyla ".arc" dosyalarını kullanmaktan ".warc" dosyalarına geçti.
Yaygın Tarama verilerinin geçmişi
Aşağıdaki veriler resmi Common Crawl Bloğundan 27 Ekim 2020 tarihinde Wayback Machine sitesinde . toplanmıştır.
| Tarama Tarihi | TİB'in boyutu | Milyarlarca sayfa | Yorumlar |
|---|---|---|---|
| Kasım 2018 | 220 | 2.6 | |
| Ekim 2018 | 240 | 3.0 | |
| Eylül 2018 | 220 | 2.8 | |
| Ağustos 2018 | |||
| Temmuz 2018 | 255 | 3.25 | |
| Haziran 2018 | 235 | 3.05 | |
| Mayıs 2018 | 215 | 2.75 | |
| Nisan 2018 | 230 | 3.1 | |
| Mart 2018 | 250 | 3.2 | |
| Şubat 2018 | 270 | 3.4 | |
| Ocak 2018 | 270 | 3.4 | |
| Aralık 2017 | 240 | 2.9 | |
| Kasım 2017 | 260 | 3.2 | |
| Ekim 2017 | 300 | 3.65 | |
| Eylül 2017 | 250 | 3.01 | |
| Ağustos 2017 | 280 | 3.28 | |
| Temmuz 2017 | 240 | 2.89 | |
| Haziran 2017 | 260 | 3.16 | |
| Mayıs 2017 | 250 | 2.96 | |
| Nisan 2017 | 250 | 2.94 | |
| Mart 2017 | 250 | 3.07 | |
| Şubat 2017 | 250 | 3.08 | |
| Ocak 2017 | 250 | 3.14 | |
| Kasım 2016 | - | 2.85 | |
| Ekim 2016 | - | 3.25 | |
| Eylül 2016 | - | 1.72 | |
| Ağustos 2016 | - | 1.61 | |
| Temmuz 2016 | - | 1.73 | |
| Haziran 2016 | - | 1.23 | |
| Mayıs 2016 | - | 1.46 | |
| Nisan 2016 | - | 1.33 | |
| Şubat 2016 | - | 1.73 | |
| Kasım 2015 | 151 | 1.82 | |
| Eylül 2015 | 106 | 1.32 | |
| Ağustos 2015 | 149 | 1.84 | |
| Temmuz 2015 | 145 | 1.81 | |
| Haziran 2015 | 131 | 1.67 | |
| Mayıs 2015 | 159 | 2.05 | |
| Nisan 2015 | 168 | 2.11 | |
| Mart 2015 | 124 | 1.64 | |
| Şubat 2015 | 145 | 1.9 | |
| Ocak 2015 | 139 | 1.82 | |
| Aralık 2014 | 160 | 2.08 | |
| Kasım 2014 | 135 | 1.95 | |
| Ekim 2014 | 254 | 3.7 | |
| Eylül 2014 | 220 | 2.8 | |
| Ağustos 2014 | 200 | 2.8 | |
| Temmuz 2014 | 266 | 3.6 | |
| Nisan 2014 | 183 | 2.6 | |
| Mart 2014 | 223 | 2.8 | İlk Nutch taraması |
| Ocak 2014 | 148 | 2.3 | Aylık gerçekleştirilen taramalar |
| Kasım 2013 | 102 | 2 | Warc dosya biçimindeki veriler |
| Temmuz 2012 | - | - | Arc dosya formatındaki veriler |
| Ocak 2012 | - | - | Amazon Web Services'in Herkese Açık Veri Seti |
| Kasım 2011 | 40 | 5 | Amazon'da ilk kullanılabilirlik |
Norvig Web Veri Bilimi Ödülü
Common Crawl, ile destek olarak, Benelüks'teki öğrencilere ve araştırmacılara açık bir yarışma olan Norvig Web Data Science Award'a sponsorluk yapmaktadır. Ödül, aynı zamanda ödülün jüri komitesine de başkanlık eden 'e verildi.
Kaynakça
- ^ Rosanna Xia (5 Şubat 2012). "Tech entrepreneur Gil Elbaz made it big in L.A." Los Angeles Times. 12 Ağustos 2014 tarihinde kaynağından . Erişim tarihi: 31 Temmuz 2014.
- ^ "Gil Elbaz and Common Crawl". NBC News. 4 Nisan 2013. 8 Ağustos 2014 tarihinde kaynağından . Erişim tarihi: 31 Temmuz 2014.
- ^ . 8 Ekim 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 2 Haziran 2018.
- ^ Lisa Green (8 Ocak 2014). "Winter 2013 Crawl Data Now Available". 25 Mayıs 2018 tarihinde kaynağından . Erişim tarihi: 2 Haziran 2018.
- ^ "Startups - Gil Elbaz and Nova Spivack of Common Crawl - TWiST #222". This Week In Startups. 10 Ocak 2012.
- ^ Tom Simonite (23 Ocak 2013). "A Free Database of the Entire Web May Spawn the Next Google". MIT Technology Review. 26 Haziran 2014 tarihinde kaynağından . Erişim tarihi: 31 Temmuz 2014.
- ^ Jennifer Zaino (13 Mart 2012). . Semantic Web. 1 Temmuz 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
- ^ Jennifer Zaino (16 Temmuz 2012). . Semantic Web. 12 Ağustos 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
- ^ Jennifer Zaino (18 Aralık 2012). . Semantic Web. 12 Ağustos 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
- ^ . Common Crawl. 20 Şubat 2014. 24 Temmuz 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
- ^ . Common Crawl. 27 Kasım 2013. 24 Temmuz 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
- ^ . Common Crawl. 15 Kasım 2012. 31 Temmuz 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
- ^ . Dutch Techcentre for Life Sciences. 15 Ağustos 2014 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2014.
Dış bağlantılar
- Kaliforniya, Amerika Birleşik Devletleri'nde Yaygın Tarama13 Mart 2013 tarihinde Wayback Machine sitesinde .
- Tarayıcı, kitaplıklar ve örnek kod içeren Ortak Tarama GitHub Deposu 13 Ağustos 2020 tarihinde Wayback Machine sitesinde .
- Ortak Tarama Tartışma Grubu8 Temmuz 2019 tarihinde Wayback Machine sitesinde .
wikipedia, wiki, viki, vikipedia, oku, kitap, kütüphane, kütübhane, ara, ara bul, bul, herşey, ne arasanız burada,hikayeler, makale, kitaplar, öğren, wiki, bilgi, tarih, yukle, izle, telefon için, turk, türk, türkçe, turkce, nasıl yapılır, ne demek, nasıl, yapmak, yapılır, indir, ücretsiz, ücretsiz indir, bedava, bedava indir, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, resim, müzik, şarkı, film, film, oyun, oyunlar, mobil, cep telefonu, telefon, android, ios, apple, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, pc, web, computer, bilgisayar
Common Crawl web de gezinen ve arsivlerini ve veri kumelerini halka acik bir sekilde saglayan ABD federal yasalarina gore de vergiden muaf olan 501 c 3 tipi bir kar amaci gutmeyen kurulustur Common Crawl 2011 den beri toplanan petabaytlarca veriden olusur Genelde her ay taramalari tamamlar Common Crawl tarafindan kurulmustur Kar amaci gutmeyen kurulusun danismanlari arasinda ve bulunmaktadir Kurulusun tarayicilari nofollow ve robots txt politikalarina uymaktadir Common Crawl veri kumesini islemek icin acik kaynak kodu herkesin kullanimina aciktir TarihAmazon Web Services 2012 yilinda Acik Veri Kumeleri Ingilizce Public Data Sets programi araciligiyla Common Crawl arsivini barindirmaya basladi Kurulus o yilin Temmuz ayinda dosyalarinin yani sira meta veri dosyalarini ve tarayicilarin metin ciktilarini yayinlamaya basladi Common Crawl arsivleri daha once yalnizca arc dosyalarini iceriyordu Aralik 2012 de Subat Ekim 2012 arasinda gerceklestirilen aramalarin metaverilerini Common Crawl a bagisladi Bagislanan veriler Common Crawl un spam porno ve asiri SEO nun etkisinden kacinip taramasini iyilestirmesine yardimci oldu 2013 yilinda Common Crawl ozel bir tarayici yerine Apache Yazilim Vakfinin Nutch web tarayicisini kullanmaya basladi Common Crawl Kasim 2013 taramasiyla arc dosyalarini kullanmaktan warc dosyalarina gecti Yaygin Tarama verilerinin gecmisiAsagidaki veriler resmi Common Crawl Blogundan 27 Ekim 2020 tarihinde Wayback Machine sitesinde toplanmistir Tarama Tarihi TIB in boyutu Milyarlarca sayfa YorumlarKasim 2018 220 2 6Ekim 2018 240 3 0Eylul 2018 220 2 8Agustos 2018Temmuz 2018 255 3 25Haziran 2018 235 3 05Mayis 2018 215 2 75Nisan 2018 230 3 1Mart 2018 250 3 2Subat 2018 270 3 4Ocak 2018 270 3 4Aralik 2017 240 2 9Kasim 2017 260 3 2Ekim 2017 300 3 65Eylul 2017 250 3 01Agustos 2017 280 3 28Temmuz 2017 240 2 89Haziran 2017 260 3 16Mayis 2017 250 2 96Nisan 2017 250 2 94Mart 2017 250 3 07Subat 2017 250 3 08Ocak 2017 250 3 14Kasim 2016 2 85Ekim 2016 3 25Eylul 2016 1 72Agustos 2016 1 61Temmuz 2016 1 73Haziran 2016 1 23Mayis 2016 1 46Nisan 2016 1 33Subat 2016 1 73Kasim 2015 151 1 82Eylul 2015 106 1 32Agustos 2015 149 1 84Temmuz 2015 145 1 81Haziran 2015 131 1 67Mayis 2015 159 2 05Nisan 2015 168 2 11Mart 2015 124 1 64Subat 2015 145 1 9Ocak 2015 139 1 82Aralik 2014 160 2 08Kasim 2014 135 1 95Ekim 2014 254 3 7Eylul 2014 220 2 8Agustos 2014 200 2 8Temmuz 2014 266 3 6Nisan 2014 183 2 6Mart 2014 223 2 8 Ilk Nutch taramasiOcak 2014 148 2 3 Aylik gerceklestirilen taramalarKasim 2013 102 2 Warc dosya bicimindeki verilerTemmuz 2012 Arc dosya formatindaki verilerOcak 2012 Amazon Web Services in Herkese Acik Veri SetiKasim 2011 40 5 Amazon da ilk kullanilabilirlikNorvig Web Veri Bilimi OduluCommon Crawl ile destek olarak Beneluks teki ogrencilere ve arastirmacilara acik bir yarisma olan Norvig Web Data Science Award a sponsorluk yapmaktadir Odul ayni zamanda odulun juri komitesine de baskanlik eden e verildi Kaynakca Rosanna Xia 5 Subat 2012 Tech entrepreneur Gil Elbaz made it big in L A Los Angeles Times 12 Agustos 2014 tarihinde kaynagindan Erisim tarihi 31 Temmuz 2014 Gil Elbaz and Common Crawl NBC News 4 Nisan 2013 8 Agustos 2014 tarihinde kaynagindan Erisim tarihi 31 Temmuz 2014 8 Ekim 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 2 Haziran 2018 Lisa Green 8 Ocak 2014 Winter 2013 Crawl Data Now Available 25 Mayis 2018 tarihinde kaynagindan Erisim tarihi 2 Haziran 2018 Startups Gil Elbaz and Nova Spivack of Common Crawl TWiST 222 This Week In Startups 10 Ocak 2012 Tom Simonite 23 Ocak 2013 A Free Database of the Entire Web May Spawn the Next Google MIT Technology Review 26 Haziran 2014 tarihinde kaynagindan Erisim tarihi 31 Temmuz 2014 Jennifer Zaino 13 Mart 2012 Semantic Web 1 Temmuz 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Jennifer Zaino 16 Temmuz 2012 Semantic Web 12 Agustos 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Jennifer Zaino 18 Aralik 2012 Semantic Web 12 Agustos 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Common Crawl 20 Subat 2014 24 Temmuz 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Common Crawl 27 Kasim 2013 24 Temmuz 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Common Crawl 15 Kasim 2012 31 Temmuz 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Dutch Techcentre for Life Sciences 15 Agustos 2014 tarihinde kaynagindan arsivlendi Erisim tarihi 31 Temmuz 2014 Dis baglantilarKaliforniya Amerika Birlesik Devletleri nde Yaygin Tarama13 Mart 2013 tarihinde Wayback Machine sitesinde Tarayici kitapliklar ve ornek kod iceren Ortak Tarama GitHub Deposu 13 Agustos 2020 tarihinde Wayback Machine sitesinde Ortak Tarama Tartisma Grubu8 Temmuz 2019 tarihinde Wayback Machine sitesinde